RPNT：堅牢な事前学習済みニューラル・トランスフォーマー ―― 汎用的な運動デコーディングへの道筋

TL;DR（結論）

脳活動を解釈して行動へと翻訳する脳デコードにおいて、異なるセッション、被験者、記録部位、行動タイプといった多様なバリエーションを越えて汎化可能な新しいモデル「RPNT」が提案されました。 このモデルは、実験メタデータを統合する多次元回転位置埋め込み（MRoPE）、神経活動の非定常性に対処するコンテキストベースのアテンション、そして一様ランダムマスキングを用いた自己教師あり学習という独自の構成要素を備えています。 非ヒト霊長類の運動データセットを用いた検証により、RPNTはセッション間や被験者間を跨ぐデコードタスクにおいて既存のモデルを一貫して上回る性能を示し、脳コンピュータインターフェースの発展に寄与する可能性を証明しました。

なぜこの問題か

脳デコードの究極の目標は、複雑な神経活動を読み解き、それを具体的な行動へと正確に翻訳することにあります。しかし、この分野には長年解決されていない大きな課題がいくつか存在します。まず、神経活動の記録は、異なる脳部位、異なる記録セッション、多様な行動タイプ、そして異なる被験者という、極めて変動の激しい条件下で行われます。現在のデコードモデルは、これらのバリエーションの一部には対応できているものの、未知の記録構成や新しい被験者に対して高い精度で適応し、汎化することは依然として困難です。また、神経信号には「非定常性」という特性があり、時間の経過とともに信号の特性が変化する「ドリフト」が発生します。このドリフトは、長期間にわたる安定したデコードを妨げる大きな要因となっていますが、これを適切に処理するための強力なメカニズムはまだ確立されていません。 さらに、既存のアプローチの多くは、神経信号のノイズを除去してデコード性能を向上させることに主眼を置いており、神経活動の背後にある因果的なダイナミクスを十分に捉えた表現を学習できていないという指摘もあります。…

核心：何を提案したのか

本研究では、上述の課題を解決するために、頑健な事前学習を通じて高い汎化性能を実現する「RPNT（Robust Pretrained Neural Transformer）」を提案しています。RPNTは、神経スパイク活動のモデリングに特化して設計された独自の構成要素を導入していることが最大の特徴です。まず、実験のメタデータを位置埋め込みに直接統合するための「多次元回転位置埋め込み（MRoPE）」を採用しました。これにより、記録部位の座標、セッション名、被験者の識別情報、行動タイプといった多様な情報を、モデルが理解できる形で埋め込むことが可能になります。これは、従来の単一次元的な位置エンコーディングを大幅に拡張したものです。 次に、神経活動の非定常性に対処するため、グローバルなアテンション操作に対して畳み込みカーネルを適用する「コンテキストベースのアテンション機構」を導入しました。…

続きはログイン/プランで閲覧できます。