低速なシリコンニューロンによる高速ロボット制御：スパイキング強化学習の活用

TL;DR（結論）

本研究は、ミリ秒単位の判断が求められる高速なエアホッケー競技において、アナログとデジタルの混合信号を扱う「DYNAP-SE」ニューロモーフィック・プロセッサを用いたスパイキングニューラルネットワーク（SNN）による制御を実現しました。 ハードウェアと学習アルゴリズムを共同設計し、局所的な学習規則である「e-prop」を活用することで、非常に少ない試行回数かつ低消費電力で、高速に移動するパックを正確に迎撃する強化学習プロセスを構築することに成功しています。 検証の結果、時速1.0から1.5メートルの速度で移動するパックに対し、2000エピソード以内の学習で96％から98％という極めて高い成功率を達成し、従来の生物学的アプローチと比較して10分の1のニューロン数で動作することを証明しました。

なぜこの問題か

現在のAI技術は、数十億のパラメータを持つ大規模なニューラルネットワークによって前例のない成功を収めていますが、その学習には膨大なエネルギー消費が伴うという持続可能性の問題に直面しています。大規模モデルのトレーニングにはメガワット時単位の電力が必要となり、エッジデバイスでの推論であってもバッテリーを数時間で使い果たしてしまうという課題があり、これは自律型ロボットが求める厳しい制約と矛盾します。モバイルプラットフォーム上のロボットは、ワット単位ではなくミリワット単位の非常に限られたエネルギー予算内で、継続的に学習し適応する能力が求められるため、既存の計算手法では対応が困難です。 一方で自然界に目を向けると、人間の脳は約20ワットの電力で驚異的な運動学習を行い、非常に少ない訓練例から複雑な動作を習得できるという、現在のAIとは対照的な効率性を持っています。この効率性の差を埋めるために、脳に触発されたニューロモーフィック・コンピューティングや、サンプル効率の高い強化学習アルゴリズムの開発が進められてきました。…

核心：何を提案したのか

本研究では、アナログとデジタルの混合信号処理を行うニューロモーフィック・プロセッサ「DYNAP-SE」上で動作する、コンパクトなスパイキングニューラルネットワーク（SNN）を提案しました。このシステムは、ハードウェアの特性と学習アルゴリズムを密接に連携させる共同設計アプローチを採用しており、強化学習を通じて非常に少ない試行回数でロボットの制御を習得させることが可能です。具体的には、固定されたランダムな結合を持つリザーバ層がタスクの時間的構造を捉え、出力層において「e-prop」と呼ばれる局所的な学習規則を適用することで、イベント駆動型の活動を利用した高速かつ効率的な学習を実現しています。 この「e-prop」は、時間を通じた誤差逆伝播法を生物学的に妥当な形で近似したものであり、重みの更新が局所的な活動とグローバルな報酬信号のみに依存するため、オンラインでの学習に適しています。…

続きはログイン/プランで閲覧できます。