エージェント的スキルの進化によるメタコンテキストエンジニアリング

TL;DR（結論）

従来のコンテキストエンジニアリングは人間が設計した固定的なワークフローやスキーマに依存しており、構造的な偏りや設計空間の制限が課題であったが、本研究ではエンジニアリングスキルと成果物を共に進化させる「メタコンテキストエンジニアリング（MCE）」を提案した。 MCEは、メタレベルのエージェントが過去の履歴から「エージェント的クロスオーバー」を通じてスキルを洗練させ、ベースレベルのエージェントがそのスキルを実行してコンテキストを柔軟なファイルやコードとして最適化する二段階の構成を持つ。 金融や医療など5つの領域で検証した結果、既存手法と比較して平均16.9%の性能向上を達成し、コンテキストの適応性や転送効率、学習速度の大幅な改善（最大13.6倍の加速）が確認され、AIが自律的に最適な戦略を発見できることが示された。

なぜこの問題か

大規模言語モデル（LLM）の運用効率は、推論時に与えられるコンテキストの質と構成に大きく左右される。この入力を最適化する「コンテキストエンジニアリング（CE）」は、モデルのパラメータを更新せずに専門領域の性能を高めたり、長期的なタスクを解決したりするための重要な手法として確立されている。コンテキストの最適化は、モデルの重みを変更する手法と比較して、自然言語で経験を記述することによる「解釈性」、高コストな更新を必要としない「効率性」、構成や転送が容易な「モジュール性」、そして能力の獲得をモデルの重みから切り離すことによる「堅牢性」という4つの利点を持つ。しかし、現在のCE手法は人間が手作業で作成した「ハーネス（枠組み）」に依存しており、これが大きな制約となっている。例えば、生成と反省を繰り返す固定的なワークフローや、あらかじめ定義されたコンテキストのスキーマなどが挙げられる。これらは設計者の直感に基づいた狭い設計空間に限定されており、特定のタスクに対して最適な戦略を見つけ出すことを妨げている。 既存の手法には、構造的なバイアスによるトレードオフが存在する。…

核心：何を提案したのか

本研究では、静的なヒューリスティックを排除し、コンテキストエンジニアリングの「スキル」と「コンテキスト成果物」を共に進化させる二段階のフレームワーク「メタコンテキストエンジニアリング（MCE）」を提案した。MCEの核心は、エンジニアリングの戦略（コンテキストをどのように表現し最適化するか）と、その結果として得られる成果物（どのようなコンテキストを学習するか）を分離し、それぞれを最適化する点にある。これは、機械学習において学習アルゴリズムとモデルのパラメータを分離することに似ているが、MCEは凍結されたLLMを前提としたより高い抽象レベルで動作する。これにより、人間が事前に定義した固定的な枠組みを超えて、AI自身がタスクに最適なエンジニアリング手法を自律的に発見し、実行することが可能になる。…

続きはログイン/プランで閲覧できます。