コルモゴロフ・アーノルド・ネットワークにおけるグリッド適応のための動的フレームワーク

TL;DR（結論）

本研究は、コルモゴロフ・アーノルド・ネットワーク（KAN）の学習において、グリッドのノット配置を最適化するための「重要度密度関数（IDF）」に基づく新しい動的フレームワークを提案しました。従来の入力データの密度のみに依存する手法とは異なり、関数の幾何学的複雑さや学習中のダイナミクスを反映させるため、出力の曲率（2階偏導関数の和）を指標としてノットを再配置する戦略を導入しています。合成関数、Feynmanデータセット、および物理情報機械学習（PIML）を用いた検証の結果、提案手法は従来手法と比較して相対誤差を平均で9.4%から25.3%削減し、計算コストの増加を最小限に抑えつつ高い精度と安定性を実現したことが確認されました。

なぜこの問題か

コルモゴロフ・アーノルド・ネットワーク（KAN）は、多層パーセプトロン（MLP）に代わる新しいアーキテクチャとして、科学的機械学習の分野で大きな注目を集めています。特に物理情報機械学習（PIML）やオペレーター学習において、従来のモデルを凌駕する表現力と解釈性を示しています。KANの最大の特徴の一つは、学習中にグリッドの解像度を調整できる「グリッド適応」の能力にあり、これにより粗いグリッドから段階的に細かいグリッドへと拡張する学習が可能となっています。しかし、現在広く用いられている「vanilla KAN」の実装におけるノット配置戦略には、依然として大きな課題が残されています。 既存の手法は、各レイヤーに入力されるデータの密度のみを基準にノットを配置するヒューリスティックな手法に依存しています。これは、データが多く存在する領域に高い解像度を割り当てるという考え方に基づいていますが、近似対象となる関数の幾何学的な複雑さを全く考慮していないという欠点があります。例えば、データが均一に分布している領域であっても、関数が急激に変化する場所と、ほぼ直線的で変化が少ない場所が混在する場合があるからです。…

核心：何を提案したのか

本研究の核心は、ノット配置の問題を「重要度密度関数（IDF）」に基づく密度推定タスクとして定式化した汎用的なフレームワークの提案にあります。このフレームワークでは、入力座標の各サンプルに対して「重要度」を定義するスカラーの重みを割り当て、その重みの分布に従ってノットを配置します。これにより、入力データの分布だけでなく、学習中のネットワークが捉えた関数の特徴を直接的にグリッド構造に反映させることが可能となりました。具体的には、古典的なスプライン近似理論から着想を得て、関数の幾何学的な特徴を示す「曲率」を重要度の指標として採用しました。 この曲率ベースの適応戦略では、ネットワークの出力における2階偏導関数の和を計算し、その値が大きい領域、すなわち関数の変化が激しい領域にノットを密集させます。…

続きはログイン/プランで閲覧できます。