Sakana AI Memperkenalkan Agen Peningkatan Diri yang Meningkatkan Performa Hingga 50% di SWE-Bench

Perusahaan AI Jepang Sakana AI memperkenalkan Darwin Gödel Machine (DGM), agen yang dapat memodifikasi dirinya sendiri dan mampu mengubah kodenya sendiri. Dengan mengambil inspirasi dari prinsip evolusi, sistem ini mempertahankan garis keturunan varian agen yang terus berkembang, sehingga memungkinkan eksplorasi berkelanjutan dalam berbagai desain agen yang dapat meningkatkan dirinya sendiri.

Sementara sistem agen saat ini biasanya statis dan tidak berubah setelah penerapan, DGM menekankan peningkatan diri secara berkelanjutan sebagai faktor penting untuk memajukan kemampuan AI. Mesin ini dirancang untuk mendukung sistem AI yang dapat mempelajari dan mengembangkan kemampuannya dari waktu ke waktu, mirip dengan pengembangan manusia.

DGM merupakan kemajuan penting menuju sistem AI yang mampu mengidentifikasi dan membangun tonggak pembelajaran mereka sendiri secara mandiri untuk terus berinovasi. Sistem ini memperluas arsipnya dengan memilih agen dari koleksi yang ada dan menggunakan model dasar untuk menghasilkan varian baru yang lebih baik dari agen tersebut. Proses eksplorasi terbuka ini menciptakan pohon yang terus berkembang dari agen yang beragam dan berkualitas tinggi, yang memungkinkan eksplorasi simultan dari beberapa jalur dalam ruang pencarian. 

Hasil empiris menunjukkan bahwa DGM meningkatkan kemampuan pengkodeannya dari waktu ke waktu—menyempurnakan alat seperti penyuntingan kode, manajemen konteks panjang, dan mekanisme tinjauan sejawat—yang menghasilkan peningkatan kinerja pada tolok ukur seperti SWE-bench (dari 20.0% menjadi 50.0%) dan Polyglot (dari 14.2% menjadi 30.7%). Sistem ini secara konsisten mengungguli model dasar yang tidak memiliki kemampuan perbaikan mandiri atau eksplorasi terbuka.

Perlu dicatat, evolusi menuju agen yang paling efektif terkadang melibatkan perantara agen yang berkinerja lebih buruk daripada pendahulunya tetapi tetap dipertahankan dalam garis keturunan, yang menggambarkan keuntungan dari strategi pencarian terbuka. Pendekatan ini mempertahankan arsip beragam agen perantara yang berguna daripada hanya berfokus pada percabangan dari agen dengan kinerja tertinggi, yang menunjukkan bahwa kemajuan tidak selalu mengikuti jalur linier.

Penelitian lebih lanjut menunjukkan bahwa peningkatan kinerja agen yang ditemukan oleh DGM dapat digeneralisasikan ke berbagai model fondasi, seperti transfer dari Claude ke o3-mini, dan ke berbagai bahasa pemrograman dan domain tugas, termasuk Python, Rust, C++, Go, dan lainnya.

Sakana AI: Mengembangkan Sistem AI yang Terinspirasi Oleh Alam dan Kecerdasan Kolektif

Sakana AI adalah perusahaan riset AI yang berpusat di Tokyo yang berfokus pada pengembangan sistem AI yang terinspirasi oleh proses alami. Pendekatan perusahaan ini melibatkan pengintegrasian beberapa model otonom yang lebih kecil untuk membentuk kecerdasan kolektif, mirip dengan cara kerja sekumpulan ikan. Metode ini berbeda dari model AI skala besar tradisional dengan memprioritaskan kemampuan beradaptasi, efisiensi sumber daya, dan keberlanjutan jangka panjang.

Di antara proyek penelitian Sakana AI adalah teknik “Evolutionary Model Merge”, yang menerapkan algoritma evolusi untuk menggabungkan model AI yang ada. Proses ini menghasilkan model baru dengan kemampuan yang ditargetkan sambil meminimalkan kebutuhan daya komputasi yang besar. Selain itu, Sakana AI telah mengembangkan “ Ilmuwan AI ,” sebuah sistem yang dirancang untuk mengotomatiskan penelitian ilmiah dengan memungkinkan model dasar untuk secara mandiri melakukan investigasi dan proses penemuan.