機械学習エンジニアリングエージェントのためのアイデア創出の学習

TL;DR（結論）

機械学習エンジニアリング（MLE）において、戦略的なアイデア創出とコード実装を分離した二層エージェント構成「MLE-IDEATOR」を開発し、従来の実装のみを行うエージェントを大幅に上回る性能を達成した。 強化学習（GRPO）を用いて軽量なQwen3-8Bモデルを訓練した結果、未訓練時と比較して11.5%の相対的な性能向上を実現し、アイデア創出の精度においてより大規模で強力なClaude Sonnet 3.5を凌駕することに成功した。 実行結果に基づく報酬設計により、データ準備や特徴量エンジニアリングといった効果の高い戦略を優先的に提案するようにモデルを最適化し、科学的発見を自動化するAIシステムの構築に向けた有望な手法を提示している。

なぜこの問題か

現在の機械学習エンジニアリング（MLE）を担うAIエージェントには、実装したアルゴリズムを効果的に反復して最適化し続けることが難しいという大きな課題が存在している。既存の多くのエージェントは、一般的なソフトウェア開発向けの設計を流用しているため、単一の有効な解決策を実装した時点で探索を止めてしまう傾向がある。しかし、実際の機械学習タスクにおいては、単に「動くコード」を書くだけでは不十分であり、モデルの精度を向上させるためには、代替モデルのテスト、ハイパーパラメータの調整、データや特徴量の洗練といった戦略的な試行錯誤が不可欠である。このような反復的な改善プロセスは、従来のソフトウェアエンジニアリングよりも探索空間が広く、明確な正解が事前に定義されていないことが多い。 また、大規模言語モデル（LLM）を搭載したエージェントの設計において、戦略的な推論（アイデアの提案）と高度なコーディング能力（実装）を一つのモデルに同時に担わせることには構造的な限界がある。…

核心：何を提案したのか

本研究では、機械学習タスクにおけるアイデア創出と実装を明示的に分離した、新しいデュアルエージェントフレームワーク「MLE-IDEATOR」を提案している。このシステムは、実際にコードを書いて実行する「実装エージェント（Implementer）」と、高レベルな戦略的助言を提供する「アイデア創出エージェント（IDEATOR）」の二つで構成される。実装エージェントが作業の行き詰まりを感じたり、さらなる最適化の機会を見出したりした際に、特定のコマンドを用いてIDEATORに戦略的な助けを求めることができる仕組みである。この設計の大きな特徴は、軽量なIDEATORモデルがより能力の高い実装エージェントを導く「スーパーアライメント」を実現している点にある。IDEATORは実装エージェントそのものを再訓練することなく、アルゴリズムの改良を指示する戦略的なガイドとして機能する。…

続きはログイン/プランで閲覧できます。