FloydNet：大域的な関係推論のための学習パラダイム

TL;DR（結論）

従来のグラフニューラルネットワーク（GNN）が抱えていた局所的なメッセージパッシングによる情報のボトルネックや表現力の限界を打破するため、動的計画法の原理を取り入れた新しいアーキテクチャ「FloydNet」が提案されました。 このモデルは、ノードの特徴量ではなく全ペア間の関係テンソルを直接更新する「Pivotal Attention」機構を備えており、中間ノード（ピボット）を介した情報の統合によって、理論的に3-WL（2-FWL）以上の高い表現力と指数関数的な受容野の拡大を実現しています。 アルゴリズム推論ベンチマークのCLRS-30で99%以上の精度を達成したほか、巡回セールスマン問題（TSP）のようなNP困難な課題においても、従来の強力なヒューリスティック手法を大きく上回る精度で厳密な最適解を導き出すことに成功し、実用的な論理推論能力を証明しました。

なぜこの問題か

現代の人工知能研究において、複雑で多段階の推論が可能なモデルの開発は中心的な目標の一つです。カーネマンの二重過程理論に照らせば、現在の大規模言語モデル（LLM）は直感的な「システム1」の思考には優れていますが、構造化され検証可能な論理を用いる「システム2」の思考を実現することは依然として困難な課題として残されています。グラフニューラルネットワーク（GNN）は、この論理的推論を深層学習と融合させるための有力な枠組みとして期待されてきましたが、その根幹をなすメッセージパッシング機構（MPNN）には根本的な制約が存在します。 第一の制約は、情報の流れが局所的に限定されることです。遠く離れたノード間の依存関係を捉えるためには、ネットワークを非常に深くする必要がありますが、そうすると「オーバー・スムージング（平滑化）」や「オーバー・スカッシング（情報の過密）」といった現象が発生し、効果的なスケーリングが阻害されます。第二の制約は表現力の限界であり、多くのMPNNはグラフの同型性を判定する1-WLテストの限界を超えられないことが知られています。…

核心：何を提案したのか

本論文では、動的計画法（DP）の原理をニューラルネットワークの設計に統合した新しい学習パラダイムと、それを具現化したアーキテクチャ「FloydNet」を提案しています。動的計画法は、大域的な状態を反復的に洗練させることで問題を解決する手法であり、グラフ推論に適した強力な枠組みを提供します。特に、全ペア間の最短経路を求めるフロイド・ワーシャル（Floyd-Warshall）アルゴリズムの構造に着目し、その固定された更新ルールを学習可能な高次元のニューラル演算子に置き換えるという着想を得ています。…

続きはログイン/プランで閲覧できます。