LLaMEA-SAGE: 説明可能なAIによる構造的フィードバックを用いた自動アルゴリズム設計の進化

TL;DR（結論）

LLaMEA-SAGEは、大規模言語モデル（LLM）を用いた自動アルゴリズム設計において、生成コードの抽象構文木から抽出した構造的特徴を説明可能AI（XAI）で解析し、性能向上に繋がる具体的な修正指針を自然言語でフィードバックする新しいフレームワークである。 従来の手法が実行結果の適合度のみに依存していたのに対し、本手法はコードの複雑性やグラフ理論的指標を代理モデルで学習し、SHAP値を用いて「どの特徴を増減させるべきか」という戦略的な指示をLLMに与えることで、探索の効率化と精度の向上を実現している。 実験では、標準的なLLaMEAよりも高速に優れた解に到達することが確認され、さらにMA-BBOBベンチマークにおいて、MCTS-AHDやLHNSといった既存の最先端手法を上回る性能を達成し、コード構造とアルゴリズム性能の相関を設計に活用できることを示した。

なぜこの問題か

効果的かつ効率的な最適化アルゴリズムを設計することは、進化計算の分野において長年の中心的な課題である。これまでは、CMA-ESのような成功を収めたアルゴリズムの多くが、人間の専門知識や反復的な試行錯誤、そして暗黙的なドメイン知識に依存して手作業で構築されてきた。しかし、このような人間中心の設計プロセスは、体系的な革新を遅らせる要因となり、再現性が低く、異なる問題クラスへのスケールアップも困難であるという課題を抱えている。近年、大規模言語モデル（LLM）の進歩により、自然言語のプロンプトから直接最適化アルゴリズムを生成する自動アルゴリズム設計（AAD）という新しいパラダイムが登場した。LLMを構造化された探索手順に組み込むことで、ヒューリスティックの生成やハイパーパラメータの調整、アルゴリズムの改良が可能であることが示されている。 しかし、既存のLLMベースの手法の多くは、固定されたアルゴリズムのテンプレートに依存しており、発見可能なアルゴリズムの範囲を制限し、既知の構造に偏らせてしまうという欠点がある。…

核心：何を提案したのか

本研究では、LLaMEAフレームワークを拡張し、構造的なフィードバックメカニズムを導入した「LLaMEA-SAGE」を提案している。この手法の核心は、アルゴリズムの発見プロセスにおいて、生成されたコードの構造的特徴と性能の相関を学習し、より良い結果に繋がる特徴を特定してLLMに伝える仕組みにある。具体的には、生成されたアルゴリズムの抽象構文木（AST）から、グラフ理論的指標や複雑性指標などの豊富な特徴量を抽出する。これらの特徴量と実際に観測された性能データをアーカイブに蓄積し、勾配ブースティング決定木（XGBoost）を用いた代理モデルを構築して、コード構造と性能の関係を近似する。…

続きはログイン/プランで閲覧できます。