Magellan：AlphaEvolveを用いた新規コンパイラ最適化ヒューリスティクスの自律的発見

TL;DR（結論）

Magellanは、大規模言語モデル（LLM）と進化的探索、自動チューニングを組み合わせることで、コンパイラの最適化パスを制御するC++の意思決定ロジックを自律的に生成するエージェント型フレームワークである。 LLVMの関数インライニングにおいて、数十年にわたる手動エンジニアリングを凌駕する5.23%のバイナリサイズ削減を達成し、従来の手法よりも15倍も簡潔で保守性の高い実行可能なコードを合成することに成功した。 この手法は、高レベルな方策設計と低レベルなパラメータ調整を分離する階層的探索により、Googleのプロダクション環境における多様なアプリケーションや時間経過に伴うコードの変化に対しても、高い汎用性と堅牢性を示している。

なぜこの問題か

現代のコンパイラは、ソフトウェアとハードウェアの複雑さに対応するため、高度に洗練されたシステムとして構築されている。しかし、最適化問題の多くはNP困難であり、厳密な解を求めることは実用的ではない。そのため、実際の製品レベルのコンパイラは、専門家の直感に基づく手作業で作成されたヒューリスティクス（経験則）に大きく依存している。これらの手動ルールは、複雑なコストと利益のトレードオフをエンコードしているが、設計や調整、そして長期的な保守が極めて困難であるという課題を抱えている。 特に、ハードウェアとソフトウェアのエコシステムが不均一化し続ける中で、長年維持されてきたルールの前提条件が崩れ、コンパイラの性能を競争力のある状態に保つために絶え間ない人的努力が要求されている。近年の大規模言語モデル（LLM）の進展により、アルゴリズムやヒューリスティクスの自動設計への関心が高まっているが、既存のLLMベースの手法には限界がある。…

核心：何を提案したのか

本論文では、コンパイラの最適化パスそのものを進化させるエージェント型フレームワーク「Magellan」を提案している。Magellanの最大の特徴は、コンパイラ内部で直接実行可能なコンパクトなC++の意思決定ロジックを合成する点にある。これは、人間が書くコードとほぼ同じ形式で出力されるため、既存のコンパイラ・インフラストラクチャにそのまま統合し、再利用することが可能である。Magellanは、LLMを活用したコーディングエージェントであるAlphaEvolveを核とし、進化的探索とブラックボックス自動チューニングを組み合わせたクローズドループを構築している。 このシステムは、ユーザーが提供するマクロベンチマーク上での評価結果を報酬信号として受け取り、生成、評価、洗練のプロセスを繰り返す。これにより、専門家が設計したベースラインと同等、あるいはそれを上回るポリシーを自律的に発見することができる。…

続きはログイン/プランで閲覧できます。