制御可能な高レベル特性を持つ連続最適化問題のLLM駆動設計

TL;DR（結論）

本研究では、大規模言語モデル（LLM）と進化計算を組み合わせたLLaMEAフレームワークを活用し、多峰性や分離可能性、探索空間の均一性といった特定の高レベルな構造的特性を備えた連続最適化問題を自動的に設計する新しい手法を提案した。既存のベンチマークであるBBOBの多様性の限界を克服するため、探索的ランドスケープ解析（ELA）を用いた特性予測モデルと、生成される問題の重複を避けて多様性を確保するためのELA空間における適応的フィットネス共有メカニズムを導入し、広範な問題空間の探索を実現した。生成された関数群は、吸引圏の分析や統計的テスト、視覚的な検査によって意図した通りの構造的特徴を持つことが検証されており、既存のBBOBのインスタンス空間を拡張するだけでなく、アルゴリズムの自動選択や性能評価のための解釈可能で再現性の高いベンチマークライブラリとして機能する。

なぜこの問題か

連続ブラックボックス最適化の分野において、アルゴリズムの性能は解くべき問題の構造に強く依存しており、すべての問題に対して一律に最高の性能を発揮する単一のアルゴリズムは存在しない。この課題に対処するために、与えられた問題インスタンスに対して最適なアルゴリズムを自動的に選択するアルゴリズム自動選択（AAS）の研究が進められているが、その発展は既存のベンチマーク問題セットの構造的な多様性の欠如によって制限されている。現在広く利用されているBBOBなどのテストスイートは、問題空間の非常に狭い領域しかカバーしていないことが指摘されており、機械学習を用いたアルゴリズム選択モデルの汎化性能を妨げ、評価結果が訓練データとテストデータの分割方法に過度に依存する原因となっている。この制限を緩和するためには、既存のベンチマークでは表現されていない未開拓の領域を埋めるような、新しい最適化問題を自動的に生成する手法が必要とされている。…

核心：何を提案したのか

本研究の核心は、大規模言語モデル（LLM）を進化計算のループ内に組み込み、特定の高レベルなランドスケープ特性を持つ連続最適化問題を設計するLLaMEAフレームワークの拡張と適用である。具体的には、多峰性、グローバルとローカルの最適解のコントラスト、探索空間の均一性、吸引圏のサイズの均一性、および分離可能性という5つの主要な高レベル特性をターゲットとして設定し、これらを自然言語の記述から実行可能なPythonコードへと変換するプロセスを構築した。LLaMEAは、従来の数値的なパラメータ最適化とは異なり、アルゴリズムや関数のコードそのものを進化させる手法であり、LLMが変異や交叉といった進化オペレータの役割を担い、自然言語のプロンプトを通じて候補となる問題を反復的に改良していく。…

続きはログイン/プランで閲覧できます。