TSRBench: 汎用モデルのための包括的なマルチタスク・マルチモーダル時系列推論ベンチマーク

TL;DR（結論）

時系列データは現実世界の意思決定において不可欠ですが、従来の評価手法は単純な数値予測に偏り、文脈や因果関係を考慮した高度な推論能力を測定できていませんでした。本研究が提案する「TSRBench」は、14のドメインから収集された4125個の問題を含み、認識、推論、予測、意思決定の4つの次元と15のタスクを通じて、汎用モデルの時系列処理能力を多角的に評価する初の包括的なマルチモーダルベンチマークです。30以上の主要モデルを検証した結果、モデル規模の拡大は認識や論理推論には有効であるものの予測精度には必ずしも直結せず、また現在のマルチモーダルモデルはテキストと視覚情報の統合において相乗効果を生み出せていないという重要な課題が明らかになりました。

なぜこの問題か

時系列データは、エネルギー管理から交通制御、金融市場の動向分析、ヘルスケアにおけるバイタルサインの監視、産業システムの異常検知に至るまで、現実世界のあらゆる重要なアプリケーションの基盤となっています。汎用モデルが実用的な問題を解決するためには、時系列データを単なる数値の羅列としてではなく、文脈の中で正しく解釈し、推論する能力が根本的なスキルとして求められます。このような能力を備えたモデルは、教育、臨床管理、災害予測、さらには科学的発見といった多岐にわたる分野で、自動化システムの意思決定を強力に支援することが期待されています。 しかし、これまでの時系列評価フレームワークの多くは、伝統的な時系列分析の枠組みに留まっていました。これらは時系列データを孤立した数値配列として扱う還元主義的なアプローチを採用しており、現実世界の複雑な問題解決に不可欠な因果構造や意味的な文脈を切り捨ててしまう傾向がありました。最近のベンチマークの中には、文脈情報を統合し始めたものもありますが、それらは主に表面的なパターンの理解を目的としており、高度な推論を必要とする複雑な問題解決には不十分です。…

核心：何を提案したのか

本研究では、汎用モデルの時系列問題解決能力を多角的に評価するための包括的なベンチマークである「TSRBench」を提案しました。このベンチマークは、14の異なるドメインから慎重に収集、選択、および合成された4125個のインスタンスで構成されています。評価の対象となる能力は、大きく分けて「認識（Perception）」、「推論（Reasoning）」、「予測（Prediction）」、「意思決定（Decision-Making）」の4つの主要な次元に分類されており、これらの中に合計15の多様なタスクが含まれています。これにより、モデルの能力を単一の指標ではなく、多次元的なプロファイルとして把握することが可能になりました。 TSRBenchの最大の特徴の一つは、その高い多様性と網羅性です。…

続きはログイン/プランで閲覧できます。