低速なシリコンニューロンで高速ロボットを制御するスパイク強化学習

TL;DR（結論）

本研究は、低消費電力なアナログ・デジタル混在型ニューロモーフィック・プロセッサであるDYNAP-SEを活用し、極めて高速な意思決定が要求されるエアホッケー・ロボットの制御をスパイク強化学習によって実現した。脳の仕組みを模倣した1020個のシリコンニューロンと、生物学的に妥当な局所学習規則であるe-propを組み合わせることで、従来の深層学習よりも遥かに少ない試行回数と計算リソースで、リアルタイムな運動学習と環境への適応を可能にしている。秒速1.5メートルに達する高速なパックに対し、6次元の連続的な状態空間をミリメートル単位の精度で処理し、最終的に96%から98%という極めて高い打撃成功率を達成したことで、ニューロモーフィック・ハードウェアの実用性を証明した。

なぜこの問題か

現代の人工知能技術は、数十億のパラメータを持つ巨大なニューラルネットワークによって劇的な進化を遂げているが、その裏側では膨大なエネルギー消費が深刻な課題となっている。大規模なモデルの学習にはメガワット時単位の電力が必要であり、エッジデバイスでの推論であっても、バッテリーをわずか数時間で使い果たしてしまう。このような電力消費の激しいパラダイムは、限られたエネルギー予算内で継続的に学習し、環境に適応しなければならない自律型ロボットの要求と根本的に衝突している。特にモバイルプラットフォームでは、ワット単位ではなくミリワット単位の電力予算で動作することが求められるため、現在のアーキテクチャをそのまま適用することには限界がある。自然界に目を向けると、人間の脳はわずか20ワット程度の電力で驚異的な運動学習を行い、非常に少ない学習例から複雑な動作を習得している。この圧倒的な効率性の差を埋めるために、脳の計算原理を模倣したニューロモーフィック・コンピューティングが注目されている。…

核心：何を提案したのか

本研究の核心は、DYNAP-SEというニューロモーフィック・チップを実際の制御ループに組み込み、物理的なロボット操作のためのスパイク強化学習フレームワークを構築したことにある。具体的には、従来の単純なグリッドベースのゲームから脱却し、1.038メートル×1.948メートルの広大なワークスペースを持つ実規模のエアホッケー環境へと応用を拡大した。このシステムでは、パックの2次元位置と速度、およびロボットの先端位置を含む合計6次元の連続的な状態空間を、適応的な精度を持つ人口符号化によってスパイク列に変換し、チップ上のシリコンニューロンで直接処理する。提案手法の重要な要素は、固定されたランダムな結合を持つリザーバ層と、局所的な学習規則であるe-propを採用した読み出し層の組み合わせである。e-propは、生物学的に妥当な方法で時間を通じた誤差逆伝播を近似し、重みの更新を局所的なニューロン活動とグローバルな報酬信号のみに依存させる。…

続きはログイン/プランで閲覧できます。