Eisenstein-Jacobi相互接続トポロジにおける故障適応型ルーティングのための深層強化学習

TL;DR（結論）

現代のメニーコアシステムで期待されるEisenstein-Jacobi（EJ）ネットワークにおいて、従来のGreedy手法は故障発生時に到達率が10%まで低下し、最適解であるDijkstra法は計算負荷が過大になるという課題がある。本研究では、近接する故障への罰則と経路効率への報酬を組み合わせた多目的報酬関数を用いる深層強化学習（PPO）エージェントを提案し、分散配置可能な軽量かつ高精度な意思決定を実現した。検証の結果、提案手法は94%の有効到達率と91%のパケット配送率を達成し、さらに混雑下では負荷分散戦略によって理論上の最短経路を示すDijkstra法を上回るスループットを維持できることが示された。

なぜこの問題か

現代のマルチコアおよびメニーコアアーキテクチャの進化において、相互接続ネットワーク（NoC）はシステム全体の性能、エネルギー効率、および信頼性を左右する極めて重要な要素となっている。チップ上に統合されるプロセッシング要素が数千コアの規模へと拡大するにつれ、従来の2Dメッシュやトーラスといったトポロジーは、直径の増大や接続性の制限という深刻な課題に直面している。これに対し、複素数であるEisenstein整数から導出されるEisenstein-Jacobi（EJ）ネットワークは、6正則な対称トポロジーを持ち、同規模の矩形グリッドと比較して低い直径と高いノード接続性を提供する。この構造は、高帯域幅かつ低遅延の相互接続を実現するための非常に魅力的な候補として浮上している。しかし、EJネットワークのような複雑なトポロジーの性能は、リンクやノードの故障に対して極めて敏感であり、故障が発生するとネットワークの信頼性は著しく低下する。 従来の最小Greedyルーティングは、目的地までの幾何学的な距離を最小化する隣接ノードにパケットを転送する単純な手法であるが、故障が存在する環境では極めて脆弱である。…

核心：何を提案したのか

本研究では、EJネットワークにおける故障適応型ルーティングのために、深層強化学習（DRL）を用いた新しいアプローチを提案している。具体的には、近接ポリシー最適化（PPO）アルゴリズムを採用し、各ルーターが独立したエージェントとして機能する分散型のルーティングポリシーを構築した。このエージェントは、EJネットワークの6つの隣接ノードの中から、パケットを転送すべき最適な方向を学習する。提案手法の核心は、故障を回避しながら効率的な経路を選択するように設計された多目的報酬関数にある。この報酬関数は、故障ノードへの衝突に対して厳しい罰則を与え、目的地への到達に対して大きな報酬を与え、さらにステップごとに小さなコストを課すことで、最短経路の探索を促すように構成されている。 これにより、エージェントはGreedy手法が陥りやすい「行き止まり」を動的に回避する戦略を獲得する。…

続きはログイン/プランで閲覧できます。