LION：マルチモーダル属性グラフ学習のためのクリフォード・ニューラルパラダイム

TL;DR（結論）

マルチモーダル属性グラフ（MAG）におけるモダリティ間の整列不全と融合の適応性不足を解消するため、クリフォード代数に基づく新しい神経パラダイム「LION」を提案しました。 幾何学的多様体上での高次グラフ伝播（CGP）により、グラフの広域な文脈を考慮した効率的なモダリティ整列を実現し、従来の1ホップ制限やモダリティ固有の制約を数学的に克服しています。 整列済みトークンの幾何学的グレード特性を活用する適応型ホログラフィック集約（AHA）を導入し、エネルギーとスケールに基づく動的なフィルタリングを通じて、9つのデータセットと6つの下流タスクで最高水準の性能を達成しました。

なぜこの問題か

近年、画像やテキストといった多様なデータ形式の普及と視覚言語モデルの急速な発展に伴い、グラフ機械学習の分野ではテキスト属性グラフからマルチモーダル属性グラフ（MAG）へのデータ中心のパラダイムシフトが起きています。MAGでは、ノードが実世界のエンティティを表し、それらが複数のモダリティデータによって記述されるため、ノード特徴の意味的な次元が大幅に拡大し、表現学習能力の上限が引き上げられます。これにより、従来のノード分類やリンク予測といったグラフタスクの強化だけでなく、モダリティ指向の検索や生成といった新しいタスクへの応用が可能になり、実用性が飛躍的に向上しています。しかし、既存の神経パラダイムには二つの大きな限界が存在します。 第一に、モダリティ整列においてグラフの文脈が軽視されている点です。多くの手法はトポロジー制約付きのオペレーターをトークナイザーとして採用していますが、これらは1ホップの隣接ノードに範囲が限定されており、グラフにおいて有益な長距離の依存関係を捉えることができません。…

核心：何を提案したのか

本論文では、これらの課題を根本から解決するために、クリフォード代数と分離型グラフ神経パラダイム（伝播とその後の集約）に基づいた「LION（cLIffOrd Neural paradigm）」を提案しています。LIONは、マルチモーダル属性グラフにおいて「整列の後の融合」を実装するための統一された数学的枠組みを提供し、トポロジーとモダリティを連続的な空間で統合します。具体的には、まずクリフォード代数に根ざしたモダリティ認識型の幾何学的多様体を構築します。この多様体上では、構造的関係が空間的な回転としてモデル化され、異なるモダリティは単なるスカラーベクトルではなく、直交する幾何学的基底ベクトルとして表現されます。 この設計により、トポロジーを考慮したモダリティ間の深い相互作用が可能になります。次に、幾何学的に誘導された高次のグラフ伝播であるクリフォード幾何伝播（CGP）を通じて、効率的なモダリティ整列を実現します。…

続きはログイン/プランで閲覧できます。