共鳴型スパース幾何ネットワーク

要約

RSGNは脳に着想を得た自己組織化スパース接続を持つ新アーキテクチャです。計算ノードを双曲空間に埋め込み、測地線距離に応じて接続強度を減衰させることで、Transformerの$O(n^2)$計算量に対し$O(nk)$（$k \ll n$）を実現しました。長期依存タスクで96.5%の精度を達成しつつ、パラメータ数を約1/15に削減しています。

全文は有料プランで閲覧できます。