連合グラフ基盤モデルの再考：グラフと言語の整合に基づくアプローチ

TL;DR（結論）

FedGALAは、分散されたプライバシー保護環境において、グラフニューラルネットワークと凍結された事前学習済み言語モデルを連続的な埋め込み空間で整合させる革新的な連合グラフ基盤モデルのフレームワークである。従来のベクトル量子化手法が抱えていた離散化に伴う不可逆的な情報損失や表現の均質化という課題を、教師なし対照学習と連続空間での整合によって根本から解決し、データの不均一性が高い環境でも高精度な知識転移を可能にしている。本手法は、構造と意味の分離エンコーディング、履歴マッチング、およびパラメータ効率の高いプロンプト調整メカニズムを組み合わせることで、通信負荷を最小限に抑えつつ、多様なドメインのタスクにおいて既存の主要なベースラインを最大14.37%上回る圧倒的な性能向上を達成している。

なぜこの問題か

グラフ基盤モデル（GFM）の構築には膨大なデータが必要とされるが、現実の世界ではデータは各組織に分散しており、プライバシー保護や法規制の観点から中央に集約することは困難である。このため、生データを共有せずに共同学習を行う連合グラフ学習（FGL）が重要視されているが、効果的な連合グラフ基盤モデル（FedGFM）の開発には三つの大きな障壁が存在する。第一に、逐次的な言語情報と非ユークリッド的なグラフ構造の間の「意味的・構造的な直交性」により、両者を同期させることが難しいという問題がある。言語モデルは構造的なバイアスを欠いており、一方でグラフの近傍要約は受容野が狭いため、分散環境でこれらを整合させることは極めて困難である。第二に、クライアント間でデータの分布が異なる非IID（独立同一分布ではない）状況下では、ドメインを越えた知識の交絡が生じ、汎用的な表現の獲得が妨げられる。第三に、大規模な言語モデルのパラメータを通信することは帯域幅の制限から現実的ではなく、効率的な通信手法が求められている。…

核心：何を提案したのか

本研究では、連続的な潜在空間において意味的・構造的なギャップを埋める新しいフレームワーク「FedGALA（Federated Graph And Language Alignment）」を提案している。FedGALAの核心は、教師なし対照学習を活用して、グラフエンコーダと凍結された事前学習済み言語モデル（PLM）を整合させる点にある。これにより、離散化による情報の劣化を回避し、PLMが持つ広範な汎用知識をグラフ構造の理解に直接活用することが可能になる。このフレームワークは、クロスドメインのグラフ符号化を行う「連合事前学習フェーズ」と、特定のタスクに適応させるための「プロンプトベースの微調整フェーズ」の二段階で構成されている。 連合事前学習フェーズでは、グラフエンコーダを「ドメイン固有の意味的エンコーダ」と「不変的な構造的エンコーダ」に分離することで、知識の交絡を防いでいる。…

続きはログイン/プランで閲覧できます。