SETA：複合AIシステムのための統計的障害要因特定

TL;DR（結論）

現代のAIシステムは複数のニューラルネットワークを組み合わせた複合的なパイプライン構造を持つが、一部の構成要素で発生した微細な誤差が連鎖的に増幅し、システム全体の致命的な失敗を招く「カスケード故障」が大きな課題となっている。 本論文が提案する「SETA」は、メタモルフィック・テスティングと実行トレース分析を組み合わせることで、正解ラベル（オラクル）が存在しない中間工程においても、どのモジュールが故障の根本原因であるかを統計的に特定するフレームワークである。 実際の鉄道検査システムを用いた検証では、入力データへの摂動がどのように各ネットワークを伝播するかを追跡し、従来の全体評価では不可能だった「構成要素ごとの堅牢性」を詳細に数値化して特定することに成功した。

なぜこの問題か

現代のAIシステムは、単一の巨大なモデルではなく、特定のタスクに特化した複数のモデルやソフトウェアコンポーネントを相互に接続した「複合AIシステム」として構築されることが一般的になっている。このモジュール化されたアプローチは開発の効率を高める一方で、デバッグや安全性の確保において深刻な課題をもたらしている。特に自動運転車両の知覚・計画スタックや、医療におけるマルチモーダル診断ツールのような安全性が重視される領域では、システムの一部で発生した小さなデータドリフトやモデルの誤校正、予期せぬエッジケースがパイプラインを通じて増殖し、最終的に壊滅的なシステムレベルの安全違反を引き起こすリスクがある。 既存の堅牢性テスト手法の多くは、単一のネットワークモデルを対象として設計されており、複雑なマルチネットワーク・パイプラインへの拡張性が乏しい。例えば、高速勾配サイン法（FGSM）や投影勾配降下法（PGD）といった敵対的攻撃手法は、主にエンドツーエンドの挙動や個別のネットワークの入出力レベルに焦点を当てている。…

核心：何を提案したのか

本論文は、複合AIシステムにおける障害の根本原因を特定するための新しいフレームワーク「SETA（Statistical Fault Attribution）」を提案している。SETAの核心は、各コンポーネントごとの「メタモルフィック・テスティング（MT）」と「実行トレース分析」を統合した点にある。このフレームワークは、特定のアーキテクチャやデータのモダリティに依存せず、さまざまなドメインに適用可能なモジュール設計となっている。 SETAは、正解ラベルを必要としない「メタモルフィック関係（MR）」を用いて、各コンポーネントの挙動仕様を定義する。メタモルフィック関係とは、元の入力データとそのデータを変換（摂動）したデータの間で維持されるべき性質を記述したものである。例えば、画像に霧を発生させる変換を加えても、検出される物体の種類や位置が大きく変わらないことを期待する性質などがこれに該当する。…

続きはログイン/プランで閲覧できます。