一貫性から相補性へ：時系列の理解と推論に向けた整列・解きほぐしマルチモーダル学習

要約

本研究は、数値データと可視化画像を統合して時系列データを理解するマルチモーダルLLM「MADI」を提案しています。パッチレベルの整列、共通・固有情報の分離、重要なトークンの強調という3つの手法を導入し、従来モデルが抱えていた情報の混在や不整合を解消しました。実験では、既存の汎用モデルや専門モデルを上回る性能を実証しています。

全文は有料プランで閲覧できます。