KAPSO：自律的なプログラム合成と最適化のための知識に基づいたフレームワーク

TL;DR（結論）

KAPSOは、自然言語の目標と評価方法を入力として、アイデア生成、コード合成、実行、評価、学習を繰り返すことで、測定可能な目標に向けて成果物を自律的に改善し続けるモジュール型フレームワークである。 従来のコーディングエージェントが直面していた「実験状態の喪失」「脆弱なデバッグ」「専門知識の再利用不足」という長期的な課題に対し、Gitネイティブの実験エンジン、多様な情報を統合する知識システム、過去の試行から教訓を抽出する認知メモリ層を統合することで解決を図る。 MLE-Bench（Kaggle形式の機械学習競技）およびALE-Bench（AtCoderのヒューリスティック最適化）を用いた検証により、合成を単なる終着点ではなく長期的な最適化ループ内の一操作として扱うことで、複雑なタスクにおける信頼性と収束効率を大幅に向上させた。

なぜこの問題か

ドメインの専門家は、構築したいソフトウェアの意図を明確に持っているが、その意図を信頼性が高く、実際に動作し、かつ最適化されたソフトウェアへと変換するには、現実の環境での繰り返しの試行錯誤が不可欠である。特にデータサイエンスやAIプログラムの分野では、コード、データ、評価指標の厳密な管理を伴う反復的なプロセスが成功の鍵を握る。しかし、現在の大規模言語モデル（LLM）をベースとしたコーディングエージェントは、長期的な実行ループにおいて信頼性が低いという深刻な課題に直面している。一般的な失敗パターンとして、反復の過程で過去の実験状態を喪失したり、同じような統合エラーを何度も繰り返したりすることが挙げられる。また、既存のリポジトリ、ドキュメント、内部プレイブック、あるいは過去の試行から得られるはずの専門的なエンジニアリング知識を適切に再利用できないことも大きな障壁となっている。 現実の設定において決定的な優位性となるのは、単なるコード生成能力そのものではない。…

核心：何を提案したのか

本研究では、実行に基づいたプログラム最適化のための革新的なフレームワークであるKAPSOを提案した。KAPSOの最大の特徴は、プログラム合成を独立したタスクとしてではなく、長期的な最適化ループ内の一つの操作（オペレーター）として位置づけている点にある。このフレームワークは、自然言語による目標と評価者が与えられると、改善仮説の生成と選択、コード編集の適用、実行、結果の評価、および測定されたフィードバックを用いた次なる反復の誘導という「evolve（進化）」ループを自律的に駆動する。このループを支えるために、3つの密接に結合されたコンポーネントが統合されている。 第一に、Gitネイティブの実験エンジンである。これは各試行を独立したブランチとして分離し、コードの変更、実行ログ、評価出力を再現可能な成果物として保存する。…

続きはログイン/プランで閲覧できます。