SAL：スパース化を伴うバックプロパゲーションフリーな学習のための選択的適応学習

TL;DR（結論）

誤差逆伝播法（BP）が抱える生物学的な不自然さと、密なネットワーク表現における勾配干渉の問題を解決するため、選択的なパラメータ活性化と適応的な領域分割を組み合わせた新しい学習手法「Selective Adaptive Learning（SAL）」が提案されました。 この手法は、入力サンプルに応じてパラメータ空間を互いに排他的な領域に分割し、特定のサブ領域のみを活性化させることで、異なる意味パターン間での勾配の衝突を抑制しつつ、固定された非対称なフィードバック接続を用いることで重みの対称性問題を回避しています。 10種類の標準的なベンチマークにおいて従来のBPを上回る収束率と分類性能を示し、最大128層の深いネットワークや10億パラメータ規模の巨大モデルにおいても数値的な一貫性と高い精度を維持できることが確認されており、スケーラブルな学習の代替案となります。

なぜこの問題か

現代の深層学習の根幹をなす誤差逆伝播法（BP）は、計算機科学において極めて強力なアルゴリズムですが、生物学的な妥当性の観点からはいくつかの重大な課題が指摘されています。その筆頭が「重み転送問題」であり、これは順伝播で使用される重みと逆伝播で使用される重みが厳密に対称でなければならないという制約を指しますが、実際の脳の神経回路においてこのような対称性を維持する仕組みは確認されていません。また、従来の密な表現を用いた学習では、すべての入力データが同一のパラメータ空間を共有して更新を行うため、ある特定のデータ群に対する最適化が他のデータの表現を損なう「勾配干渉」が発生しやすくなります。この干渉は、学習の収束を不安定にさせたり、出現頻度の高い支配的なデータ分布にモデルが過学習してしまい、出現頻度の低いロングテールなパターンの学習が阻害されたりする原因となります。…

核心：何を提案したのか

本論文で提案された「Selective Adaptive Learning（SAL）」は、選択的なパラメータ活性化と適応的な領域分割を統合した新しい学習手法です。SALの核心的なアイデアは、パラメータ空間をサンプルに依存する複数の排他的な領域へと分解することにあります。これにより、入力データはそれぞれの意味的な特徴に応じた専門的なサブ領域へとルーティングされ、特定の経路のみが活性化されます。この設計は、脳の神経系で見られる「スパース性（特定のタスクで少数のニューロンのみが活動する）」と「アライメント（順方向と逆方向で厳密な対称性を必要としない信号伝達）」という二つの生物学的原理に基づいています。SALは、従来の動的スパース学習（DST）のように学習後に重みを削るのではなく、学習の過程そのものに選択的な構造を組み込んでいる点が特徴です。…

続きはログイン/プランで閲覧できます。