LION：マルチモーダル属性グラフ学習のためのクリフォード神経パラダイム

TL;DR（結論）

LIONは、マルチモーダル属性グラフ（MAG）におけるモダリティの整列と融合の課題を解決するために、クリフォード代数を導入した新しい神経パラダイムである。従来のグラフ機械学習手法がグラフの文脈を無視した整列や、トポロジーの事前知識を十分に活用できない融合に陥っていたのに対し、本手法は幾何学的な多様体上での伝播と集約を分離して実行することで、高次の相互作用を捉える。9つのデータセットを用いた広範な実験により、グラフ関連タスクで平均5.24%、モダリティ関連タスクで平均7.68%の精度向上を達成し、数学的な安定性と収束性の証明により、理論的な堅牢性と最先端の性能を実証している。

なぜこの問題か

画像やテキストなどの多様なデータを含むマルチモーダル属性グラフ（MAG）は、実世界の複雑なエンティティ間の関係を記述するための重要な手段となっている。しかし、既存の神経パラダイムには、モダリティの整列と融合という二つの側面で重大な限界が存在する。第一に、モダリティの整列においてグラフの文脈が軽視されている。多くの手法は、ノードやモダリティを孤立させて扱うか、あるいはトポロジー制約を持つアライナーを使用しても、その範囲は1ホップの隣接ノードに限定されている。これにより、グラフ学習において重要とされる長距離の依存関係を捉えることができず、不十分な整列に終わっている。また、特定のモダリティに依存した処理や、異なるモダリティに対して一律のトポロジーを適用する手法は、モダリティ間およびモダリティ内の微細な相互作用を見落としている。既存のエンティティの孤立は、従来のグラフを考慮しないモダリティ整列戦略から引き継がれた不要な制限である。 第二に、モダリティの融合における適応性の欠如が挙げられる。…

核心：何を提案したのか

本研究では、クリフォード代数と分離型グラフ神経パラダイムに基づいた「LION（cLIffOrdNeural paradigm）」を提案している。LIONの核心は、マルチモーダル属性グラフにおける「整列の後の融合」を、クリフォード幾何学的伝播（CGP）と適応型ホログラフィック集約（AHA）という二つの主要なモジュールを通じて実現することにある。まず、クリフォード代数を用いて、MAGに特化した幾何学的多様体を構築する。この多様体上では、構造的な関係が空間的な回転としてモデル化され、異なるモダリティは従来のスカラベクトルではなく、直交する幾何学的な基底ベクトルとして表現される。これにより、高次元の幾何学的空間での処理が可能になり、モダリティ間の相互作用をより厳密に記述できる。 この枠組みの中で、幾何学的に誘導された高次のグラフ伝播を実行することで、効率的なモダリティ間の相互作用を達成し、より精度の高いモダリティの整列を実現する。…

続きはログイン/プランで閲覧できます。