順序を考慮したテスト時適応：頑健なストリーミング推論のための時間的ダイナミクスの活用

TL;DR（結論）

従来のテスト時適応（TTA）はデータストリームを独立したサンプルの集合として扱い、連続する観測値の間に存在する時間的な依存関係を無視していましたが、本研究はこれを解決するために時間的動態を教師信号として利用する「Order-Aware Test-Time Adaptation（OATTA）」を提案しました。 OATTAは、勾配計算を必要としない再帰的ベイズ推定を用いて、オンラインで学習される動的な遷移行列を時間的事前分布として活用し、ベースモデルの予測をリアルタイムで洗練させることで、画像分類や生体信号解析、感情分析などの多様なタスクにおいて既存手法を最大6.35%上回る精度向上を達成しました。 この手法はモデルの構造に依存しない軽量なモジュールであり、計算負荷が極めて低いため既存のTTA手法と容易に組み合わせることが可能で、さらに時間的構造が弱い場合にはベースモデルの予測へと自動的に回帰する尤度比ゲート（LLR）を備えているため、現実世界の多様な環境で安全かつ頑健に動作します。

なぜこの問題か

機械学習モデルを実際の運用環境に配備する際、学習時とテスト時のデータ分布が異なる「分布シフト」は、モデルの性能を著しく低下させる深刻な課題です。これに対処するための標準的な手法として、ラベルのないテストデータのみを用いてモデルをオンラインで調整するテスト時適応（TTA）が広く利用されています。しかし、既存のTTA手法の多くは、テストデータストリームを独立同分布（i.i.d.）のサンプルの集まりとして扱っており、連続する観測値の間に存在する時間的なつながりや動態を完全に見落としています。現実世界のデータ、例えば人間の活動認識、野生動物の観測シーケンス、SNSのタイムラインなどは、前の状態が次の状態に影響を与える強い時間的構造を持っており、このコンテキストを無視することは、曖昧さや不確実性を解消するための重要な信号を捨てていることに他なりません。 従来のTTA手法は、入力データの周辺分布の変化（入力や表現のシフト）には対応できますが、クラス間の遷移規則の変化、すなわち条件付き確率の変化を捉えることはできません。…

核心：何を提案したのか

本研究が提案する「Order-Aware Test-Time Adaptation（OATTA）」は、時間的な順序を考慮したテスト時適応を実現するための、モデルに依存しない（model-agnostic）フレームワークです。OATTAの核心は、テスト時適応を「勾配計算を必要としない再帰的ベイズ推定タスク」として定式化した点にあります。これにより、モデルの重みを直接更新することなく、出力される確率ベクトルの空間で予測を洗練させることが可能になりました。…

続きはログイン/プランで閲覧できます。