分散型LLM推論ネットワークのための適応的かつ堅牢なコスト考慮型品質証明

TL;DR（結論）

分散型LLM推論において、軽量な評価ノードを用いて出力品質を保証する「Proof of Quality（PoQ）」を拡張し、悪意あるノードによるスコア操作に耐性を持つコスト考慮型の仕組みを提案している。 中央値やトリム平均といった堅牢な集約ルールと、過去の乖離度に基づいて評価者の重みを動的に更新する適応的信頼重み付けを導入することで、単純平均と比較して攻撃に対する耐性と正解データとの整合性を向上させた。 シミュレーションの結果、提案手法はノイズ注入や妨害などの攻撃下でも安定した報酬分配を維持し、評価者のサンプリング数と報酬の分散、および堅牢性の間にある運用上のトレードオフを明らかにした。

なぜこの問題か

分散型の大規模言語モデル（LLM）推論ネットワークは、中央集権的な管理を避け、透明性と検閲耐性を備えた高度なAI機能へのオープンなアクセスを提供することを目指している。しかし、このようなネットワークを安定して運用するためには、出力される回答の品質を大規模かつ低コストで評価する信頼不要のメカニズムが不可欠である。現代のトランスフォーマーモデルに対して暗号学的な検証を行う手法は、対話的な遅延が求められる環境では計算コストが非常に高く、実用的ではない。そのため、多くの実用的なシステムでは、学習済みの軽量な評価モデルからの信号を集約して品質を近似する手法に依存している。この背景から、評価ノードが候補となる出力にスコアを付け、その集約結果をネットワークレベルの判断とする「Proof of Quality（PoQ）」という概念が登場した。 先行研究では、出力の品質と計算コストのバランスを取るコスト考慮型のPoQが提案されているが、オープンで参加制限のない環境では新たな課題が浮上している。…

核心：何を提案したのか

本論文では、分散型LLM推論ネットワークにおける評価レイヤーを強化し、スコア操作に対する耐性を備えた「悪意に強いコスト考慮型PoQ」を提案している。この提案の核心は、従来のコスト考慮型インセンティブの原則を維持しつつ、コンセンサス形成プロセスに二つの主要なコンポーネントを統合した点にある。これにより、ネットワークの参加者が増加し、その中に悪意のある主体が混入したとしても、システム全体の整合性を保つことが可能になる。 第一のコンポーネントは、堅牢な集約ルールの導入である。具体的には、極端な値の影響を排除するために、中央値（Median）やトリム平均（Trimmed Mean）を採用している。トリム平均は、スコアの集合から上位と下位の一定割合を削除した後に平均を算出する手法であり、悪意のあるノードが極端に高い、あるいは低いスコアを報告して全体を操作しようとする試みを効果的に抑制する。…

続きはログイン/プランで閲覧できます。