DropoutTS: ノイズに強い時系列予測のためのサンプル適応型ドロップアウト

TL;DR（結論）

深層時系列予測モデルが実世界のノイズに対して脆弱であるという課題に対し、データの削除や複雑な事前分布の仮定に頼らず、モデルの学習容量をサンプルごとに動的に調整する新しいパラダイム「容量中心の変調（Capacity-Centric Modulation）」を提案した。 提案手法のDropoutTSは、スペクトル希薄性の原理に基づき、入力データの周波数成分からノイズ強度を定量化する「スペクトル・ノイズ・スコアラー」と、そのスコアを微分可能な形でドロップアウト率に変換する「サンプル適応型ドロップアウト」で構成される。 既存の予測モデルにプラグインとして追加するだけで、計算負荷をほとんど増やさずにノイズ耐性を大幅に向上させることが可能であり、多様な実データセットを用いた実験において平均9.8%の性能向上を達成し、特にノイズの多い環境で優れた堅牢性を示した。

なぜこの問題か

時系列予測は、気候変動の監視、金融市場の分析、ヘルスケア、産業モニタリングなど、多岐にわたる分野で重要な役割を果たしている。近年の深層学習の進展により、GNNやCNN、Transformer、MLPといった多様なアーキテクチャが登場し、複雑な長期依存関係を捉える能力が飛躍的に向上した。しかし、これらの高性能なモデルは、実世界のデータに遍在するノイズに対して非常に脆弱であるという根本的な課題を抱えている。多くの研究がアーキテクチャの革新に集中する一方で、トレーニングデータの質そのものが予測精度に与える影響については、これまで十分に検討されてこなかった。 実世界の時系列データは、サンプルごとに異なる特性を持つ「サンプルレベルの不均一性」を特徴としている。安定した予測が可能な領域もあれば、急激な変化や稀なイベント、あるいは確率的な変動によって激しいノイズに支配されている領域も存在する。高い表現能力を持つ深層予測モデルは、これらのノイズを含んだサンプルに対して過学習を起こしやすく、一般的な動態を学習する代わりに、一過性の偽のパターンを記憶してしまう傾向がある。 この問題に対し、既存の堅牢化戦略は主に2つのアプローチに分類される。…

核心：何を提案したのか

本論文では、従来の「ノイズを避ける（選択）」や「ノイズを分離する（モデリング）」というアプローチとは一線を画す、第3のパラダイムとして「容量中心の変調（Capacity-Centric Modulation）」を提案している。このパラダイムの核心は、各サンプルの固有の予測可能性に応じて、モデルがそのサンプルに割り当てる学習容量を動的に調整するという考え方にある。これを実現するために開発されたのが、モデルに依存しないプラグインとして機能する「DropoutTS」である。…

続きはログイン/プランで閲覧できます。