サカナAI、SWE-Benchでパフォーマンスを最大50%向上させる自己改善エージェントを導入

日本のAI企業 さかなAI 自身のコードを変更できる自己修正エージェントであるダーウィン・ゲーデル・マシン（DGM）を導入しました。進化の原理に着想を得たこのシステムは、エージェントのバリアントの系統を継続的に拡大し続け、幅広い自己改善エージェント設計の継続的な探求を可能にしています。

現在のエージェントシステムは、導入後は通常静的で変化しませんが、DGMはAI能力の向上に不可欠な要素として継続的な自己改善を重視しています。このマシンは、人間の発達と同様に、時間の経過とともに学習し、能力を進化させることができるAIシステムをサポートするように設計されています。

DGMは、AIシステムが自律的に学習マイルストーンを特定し、それを基に継続的に革新していくための重要な進歩です。このシステムは、既存のコレクションからエージェントを選択し、基礎モデルを用いてそのエージェントの改良版を生成することで、アーカイブを拡張します。このオープンエンドな探索プロセスにより、多様で高品質なエージェントの成長ツリーが作成され、探索空間内で複数の経路を同時に探索することが可能になります。 

実証結果によると、DGMは時間の経過とともにコーディング能力を向上させ、コード編集、ロングコンテキスト管理、ピアレビューメカニズムなどのツールを改善することで、SWE-bench（20.0%から50.0%）やPolyglot（14.2%から30.7%）などのベンチマークでパフォーマンスが向上しました。このシステムは、自己改善機能やオープンエンド探索機能を持たないベースラインモデルを一貫して上回っています。

注目すべきは、最も効果的な薬剤への進化には、中間段階の エージェント 先行者よりもパフォーマンスが劣っていたにもかかわらず、系統に残されたエージェントは、オープンエンドな探索戦略の利点を示しています。このアプローチは、最高パフォーマンスのエージェントからの分岐のみに焦点を当てるのではなく、有用な中間エージェントの多様なアーカイブを保持します。これは、進歩が必ずしも直線的な経路をたどるわけではないことを示しています。

さらに、この研究では、DGM によって発見されたエージェントのパフォーマンス向上は、Claude から o3-mini への移行など、さまざまな基礎モデル間、および Python、Rust、C++、Go などのさまざまなプログラミング言語とタスク ドメイン間で一般化できることが示されています。

サカナアイ：自然と集合知に着想を得たAIシステムの開発

サカナAIは東京を拠点とするAI研究企業で、自然のプロセスに着想を得たAIシステムの開発に注力しています。同社のアプローチは、複数の小規模な自律モデルを統合し、魚の群れのように集合知を形成することです。この手法は、適応性、リソース効率、長期的な持続可能性を重視する点で、従来の大規模AIモデルとは異なります。

サカナAIの研究プロジェクトの一つに、「進化的モデルマージ」技術があります。これは、進化的アルゴリズムを用いて既存のAIモデルを組み合わせる技術です。このプロセスにより、膨大な計算能力の必要性を最小限に抑えながら、目標とする機能を備えた新しいモデルを生成します。さらに、サカナAIは「 AI科学者 これは、基礎モデルが独立して調査と発見のプロセスを実行できるようにすることで、科学研究を自動化するように設計されたシステムです。