一貫性から相補性へ：時系列の理解と推論に向けた整列・解絡型マルチモーダル学習

要約

本研究は、時系列データの数値情報と可視化プロットを統合して理解・推論を行うマルチモーダルLLM「MADI」を提案します。パッチレベルの整列、共通・固有セマンティクスの分離、重要なトークンの強調という3つの手法により、モーダル間の不一致や情報の絡まりを解消します。実験では、既存の汎用モデルや特化型モデルを上回る性能を実証しました。

全文は有料プランで閲覧できます。