LEMON：MLLMは教育ビデオにおける時間的なマルチモーダル理解をどれほどうまく行えるか？

要約

最近のMLLMは視覚・音声・言語タスクで進歩していますが、長尺で知識集約的な教育コンテンツにおける性能は未知数でした。本研究では、STEM講義動画に特化したベンチマーク「LEMON」を提案します。2,277の動画セグメントと4,181のQAペアを含み、GPT-4o等の最先端モデルでも時間的推論や予測に苦戦することを明らかにしました。

全文は有料プランで閲覧できます。