ハーン・コルモゴロフ・アーノルド・ネットワークを用いた時系列予測

TL;DR（結論）

従来の時系列予測で主流だったTransformerの計算量の多さや、MLPが抱える高周波成分の学習の苦手さ（スペクトルバイアス）を解決するため、Hahn多項式を学習可能な活性化関数として組み込んだ新しいネットワーク構造「HaKAN」が開発されました。 このモデルは、データをパッチに分割して処理する階層的な構造を採用しており、パッチ内の局所的な変動とパッチ間の広域的な依存関係を同時に捉えることで、複雑な非線形ダイナミクスを持つ多変量時系列データの正確な予測を可能にしています。 広範なベンチマークデータセットを用いた実験の結果、HaKANは最新のSOTAモデルを一貫して上回る予測精度を達成しており、標準的なKANよりも計算効率が高く、かつ学習された活性化関数を通じて予測プロセスの解釈性も提供する軽量なフレームワークであることが確認されました。

なぜこの問題か

時系列予測は、小売、エネルギー、輸送、ヘルスケア、金融など、多岐にわたる分野で極めて重要なツールとして利用されています。しかし、複雑な時間的パターンや長期的な依存関係を正確に捉えつつ、計算効率を維持することは依然として大きな課題です。近年、Transformerベースのモデルが長期予測において高い性能を示していますが、これらにはいくつかの根本的な制約が存在します。まず、自己注意機構の計算複雑性が系列長の二乗に比例するため、長い履歴データを扱う際に膨大な計算リソースを必要とします。また、Transformerの注意機構は置換不変な性質を持っており、時系列データの本質である「時間の順序」や「因果関係」を自然に保持することが難しいという側面があります。 一方で、MLP（多層パーセプトロン）ベースのモデルは、計算負荷が低く軽量な代替案として注目されてきました。しかし、MLPには「スペクトルバイアス」と呼ばれる現象があり、データの低周波成分は学習しやすいものの、高周波成分のモデル化に苦労するという欠点があります。…

核心：何を提案したのか

本論文では、Hahn多項式をベースとした学習可能な活性化関数を活用する、多変量長期時系列予測のための汎用的なモデル「HaKAN」を提案しています。このモデルの核心は、Kolmogorov-Arnold Networks（KAN）の表現力の高さと、Hahn多項式による効率的な関数近似を融合させた点にあります。従来のTransformerベースのモデルが注意機構の計算オーバーヘッドに悩まされていたのに対し、HaKANは注意機構を一切使わず、パッチ間およびパッチ内の関係性をモデル化する独自のKANレイヤーによって時間的関係を捉えます。…

続きはログイン/プランで閲覧できます。