Sakana AI présente un agent auto-améliorant qui améliore les performances jusqu'à 50 % sur SWE-Bench

Entreprise japonaise d'IA Sakana IA a introduit la machine Darwin Gödel (DGM), un agent auto-modifiable capable de modifier son propre code. S'inspirant des principes évolutionnaires, ce système conserve une lignée croissante de variantes d'agents, permettant une exploration continue du large éventail de conceptions d'agents auto-améliorants.

Alors que les systèmes d'agents actuels sont généralement statiques et immuables après leur déploiement, le DGM met l'accent sur l'amélioration continue comme facteur crucial pour le développement des capacités de l'IA. La machine est conçue pour prendre en charge des systèmes d'IA capables d'apprendre et de faire évoluer leurs capacités au fil du temps, à l'instar du développement humain.

Le DGM représente une avancée notable vers les systèmes d'IA capables d'identifier et de s'appuyer de manière autonome sur leurs propres étapes d'apprentissage pour innover en permanence. Le système enrichit ses archives en sélectionnant un agent dans sa collection existante et en utilisant un modèle de base pour générer une nouvelle variante améliorée de cet agent. Ce processus d'exploration ouverte crée un arbre évolutif d'agents diversifiés et de haute qualité, permettant l'exploration simultanée de multiples voies dans l'espace de recherche. 

Les résultats empiriques démontrent que le DGM améliore ses capacités de codage au fil du temps, en améliorant des outils tels que l'édition de code, la gestion du contexte long et les mécanismes d'évaluation par les pairs. Cela se traduit par une augmentation des performances sur des benchmarks comme SWE-bench (de 20.0 % à 50.0 %) et Polyglot (de 14.2 % à 30.7 %). Le système surpasse systématiquement les modèles de référence dépourvus de capacités d'auto-amélioration ou d'exploration ouverte.

Il est à noter que l’évolution vers l’agent le plus efficace impliquait parfois des intermédiaires. agents dont les performances étaient inférieures à celles de leurs prédécesseurs, mais qui ont été conservés dans la lignée, illustrant les avantages d'une stratégie de recherche ouverte. Cette approche préserve une archive diversifiée d'agents intermédiaires utiles plutôt que de se concentrer exclusivement sur la ramification à partir de l'agent le plus performant, démontrant ainsi que la progression ne suit pas toujours une trajectoire linéaire.

La recherche indique en outre que les performances améliorées des agents découverts par le DGM peuvent être généralisées à différents modèles de fondation, comme le transfert de Claude à o3-mini, et à divers langages de programmation et domaines de tâches, notamment Python, Rust, C++, Go et autres.

Sakana AI : développer des systèmes d'IA inspirés par la nature et l'intelligence collective

Sakana AI est une société de recherche en IA basée à Tokyo qui se concentre sur le développement de systèmes d'IA inspirés des processus naturels. Son approche consiste à intégrer plusieurs modèles autonomes de plus petite taille pour former une intelligence collective, à l'image du fonctionnement d'un banc de poissons. Cette méthode se distingue des modèles d'IA traditionnels à grande échelle en privilégiant l'adaptabilité, l'efficacité des ressources et la durabilité à long terme.

Parmi les projets de recherche de Sakana AI figure la technique de « fusion de modèles évolutifs », qui applique des algorithmes évolutionnaires pour combiner des modèles d'IA existants. Ce processus génère de nouveaux modèles dotés de capacités ciblées tout en minimisant le besoin de puissance de calcul importante. Sakana AI a également développé la technique « Fusion de modèles évolutifs ». Scientifique en IA , un système conçu pour automatiser la recherche scientifique en permettant aux modèles de fondation de mener de manière indépendante des enquêtes et des processus de découverte.