ACFormer: 線形モデルの効率性とCNNの非線形抽出力を融合した時系列予測モデル

TL;DR（結論）

従来の時系列予測において、線形モデルはグローバルなトレンド把握には優れるものの、高周波な非線形信号の処理に限界がありました。本研究では、畳み込み層（CNN）がチャネル間のアテンション機構を補完しつつ非線形変動に対して高い堅牢性を持つことを解明し、線形投影の効率性とCNNの抽出力を統合した新アーキテクチャ「ACFormer」を提案しました。 複数のベンチマークデータセットを用いた実験の結果、ACFormerは既存の最先端モデルを一貫して上回る性能を達成し、特に線形モデルが苦手とする複雑な非線形パターンの復元において顕著な効果を示すことが確認されました。 共有パッチ圧縮、時間ゲート付きアテンション、独立パッチ拡張という3つの主要コンポーネントを導入することで、計算効率を維持しながら多変量間の複雑な相関と局所的な時間依存性の両方を精密にモデル化することに成功しました。

なぜこの問題か

時系列予測（TSF）は、気象予報、金融工学、資源管理など、多岐にわたる産業分野の意思決定において不可欠な技術です。しかし、多変量時系列データには、チャネル内の時間的依存関係とチャネル間の複雑な相関関係が混在しており、これらを正確にモデル化することは極めて困難な課題でした。特に多変量設定では、変数ごとに時間分解能や影響力が異なり、ある変数の変動が別の変数に即座に影響を与えることもあれば、大幅な遅延（ラグ）を経て顕現することもあります。このような不均一なラグパターンを捉えることは、従来のモデルにとって大きな壁となっていました。 自然言語処理で成功を収めたTransformerアーキテクチャを時系列予測に適用する試みも行われてきましたが、初期のモデルは連続的な時系列を点ごとのトークンとして離散化する傾向がありました。このトークン化のアプローチは、アテンション機構の受容野を個々のタイムステップに制限してしまい、多解像度な文脈情報の活用を妨げる要因となります。…

核心：何を提案したのか

本研究では、時系列予測におけるCNNの役割を再考し、CNNベースのモデルの受容野を詳細に分析することで、線形モデルの限界を克服する新しいアプローチを提案しました。分析の結果、畳み込み層はチャネルごとのアテンション機構を鏡のように反映しつつ、非線形データに対して優れた堅牢性を提供することが判明しました。この洞察に基づき、線形投影の効率性を維持しながら、畳み込みによる強力な非線形特徴抽出能力を活用するアーキテクチャ「ACFormer」を開発しました。 ACFormerの核心は、オートコンボリューション（自己畳み込み）メカニズムを用いて、きめ細かな特徴を抽出し、増幅することにあります。このモデルは、チャネル間の相関をモデル化するためにチャネル単位のアテンションを採用しつつ、局所的な時間依存性を捉えるために畳み込みの誘導バイアスを統合しています。…

続きはログイン/プランで閲覧できます。