LLaMEA-SAGE: 説明可能なAIによる構造的フィードバックを用いたアルゴリズム自動設計の誘導

TL;DR（結論）

LLaMEA-SAGEは、大規模言語モデル（LLM）を用いたアルゴリズム自動設計において、生成されたコードの抽象構文木（AST）から抽出した構造的特徴量と説明可能なAI（XAI）を組み合わせ、進化の方向性を論理的に誘導する新しいフレームワークである。 従来の適合度のみに依存する手法とは異なり、コードの複雑性やグラフ理論的指標を代理モデルで分析し、SHAP値を用いて性能に寄与する特徴を特定することで、LLMに対して「複雑性を高める」といった具体的な自然言語による変異指示を与える仕組みを構築した。 検証の結果、SBOX-COSTベンチマークにおいて標準的なLLaMEAよりも早期に高性能なアルゴリズムを発見することに成功し、さらにMA-BBOBスイートを用いた大規模実験では、MCTS-AHDやLHNSといった最新の既存手法を上回る優れた最適化性能を実証している。

なぜこの問題か

最適化アルゴリズムの設計は、進化計算の分野において長年の中心的な課題であり、これまではCMA-ESのような優れた手法が人間の専門知識や試行錯誤、暗黙的なドメイン知識に基づいて開発されてきた。しかし、人間による設計プロセスは時間がかかり、再現性が低く、異なる問題クラスに対してスケールさせることが困難であるという課題を抱えている。近年、大規模言語モデル（LLM）の進展により、自然言語のプロンプトから直接最適化アルゴリズムを生成するアルゴリズム自動設計（AAD）という新しいパラダイムが登場した。LLMは、構造化された探索手順の中に組み込まれることで、単なるコード合成にとどまらず、ハイパーパラメータの調整やヒューリスティックの改良、さらには革新的なアルゴリズムの発見に貢献できることが示されている。 しかし、既存のLLMベースの手法にはいくつかの重要な欠点が存在する。第一に、多くの手法が固定されたアルゴリズムのテンプレートに依存しており、発見可能なアルゴリズムの範囲が制限され、既存の構造に偏りが生じてしまう点である。…

核心：何を提案したのか

本研究では、LLaMEAフレームワークを拡張し、説明可能なAI（XAI）によるコード特徴量の分析を用いた構造的フィードバックメカニズム「LLaMEA-SAGE」を提案した。この手法の核心は、アルゴリズムの発見プロセスにおいて、どのコード構造が性能と相関しているかを学習し、その知見を次世代のコード生成に活かす点にある。具体的には、生成されたアルゴリズムの抽象構文木（AST）からグラフ理論的特徴や複雑性の指標を抽出し、これまでの試行結果を蓄積したアーカイブを用いて代理モデルを構築する。この代理モデルをSHAP（SHapley Additive exPlanations）を用いて分析することで、性能に最も影響を与えているコードの特徴を特定する。…

続きはログイン/プランで閲覧できます。