CCMamba: 組み合わせ複体の高次グラフ学習に向けた選択的状態空間モデル

TL;DR（結論）

現実世界の複雑なデータ構造を扱うため、グラフやハイパーグラフを包括する「組み合わせ複体」という統一的なトポロジカル枠組みを採用し、線形時間で動作する初のMambaベースの学習モデルであるCCMambaを提案した。 従来の注意機構が抱えていた計算量の爆発という課題を、選択的状態空間モデルを導入して情報をシーケンスとして処理することで解消し、ノード、エッジ、面といった異なるランク間の複雑な依存関係を効率的かつ適応的に伝播させることに成功した。 理論的に1次元の組み合わせ複体Weisfeiler-Lehmanテストと同等の識別能力を持つことを証明し、実際のグラフやハイパーグラフの分類タスクにおいて、既存のトポロジカル深層学習手法を凌駕する性能と深い層に対する高い堅牢性を実証した。

なぜこの問題か

生体分子の相互作用ネットワーク、交通の動態、画像の多様体、あるいはマルチスケールな幾何学的構造といった現実世界の多くのシステムは、単純なペアの関係（点と点の結びつき）を遥かに超えた複雑な関係性を含んでいる。従来のグラフニューラルネットワークは、1次元の二項関係をモデル化するには非常に柔軟で強力な道具であるが、ハイパーグラフ、単体複体、細胞複体などの高次ドメインで発生する多方向的、階層的、かつ境界を意識した依存関係を表現するには本質的な限界がある。この限界を打破するために、ノード、エッジ、面などの構成要素をランク付けされたセルとして整理し、境界演算子や余境界演算子で接続する組み合わせ複体という原理的なトポロジカル枠組みが注目されている。 しかし、既存のトポロジカル深層学習手法の多くは、局所的なメッセージパッシングや注意機構に過度に依存しているという課題がある。注意機構は要素間の相関を捉えるのに有効だが、計算量が要素数の二乗に比例して増加するため、大規模なグラフや複雑な高次複体構造への適用が極めて困難である。…

核心：何を提案したのか

本研究では、組み合わせ複体上での学習に向けた初のMambaベースの統一ニューラルフレームワークであるCCMambaを提案した。このモデルの核心は、トポロジカルなメッセージパッシングを選択的状態空間モデルの問題として再定義した点にある。具体的には、多重ランクにわたる接続関係を構造化されたシーケンスとして整理し、それをランクを考慮した状態空間モデルで処理することで、自己注意機構を使用せずに線形時間での学習を可能にした。これにより、適応的で方向性があり、かつ長距離の依存関係を考慮した情報伝播が実現されている。 CCMambaは、ノード、エッジ、面といった異なる次元のセル間の接続行列（入射行列）を利用することで、グラフ、ハイパーグラフ、単体複体、細胞複体といった多様なトポロジカル構造を一つの共通の枠組みで扱うことができる。…

続きはログイン/プランで閲覧できます。