脚本こそが必要な全て：長期的な対話から映画風動画を生成するためのエージェントフレームワーク

TL;DR（結論）

従来の動画生成AIは、対話のような抽象的な概念から一貫した物語を持つ長尺映像を作る際、創作意図と映像表現の間に「意味のギャップ」が生じる課題がありました。本研究では、アルフレッド・ヒッチコックの「映画には脚本が最も重要である」という哲学に基づき、断片的な対話文から詳細な撮影指示を含む脚本を自動生成し、それを基に一貫性のある映像を構築する新しいエージェントフレームワークを提案しています。 専門的な脚本家、監督、批評家の役割を担う3つのエージェントと、大規模データセットScriptBench、そして強化学習（GRPO）を組み合わせることで、既存の動画生成モデルの限界を超えた劇的な緊張感と視覚的一貫性を実現することに成功しました。これにより、キャラクターの同一性や物語の文脈を維持したまま、プロフェッショナルな品質の映画風動画を自動で制作することが可能になります。 本フレームワークは、ScripterAgentによる精密な脚本作成、DirectorAgentによるシーン間の連続性確保、CriticAgentによる多角的な評価という一連のプロセスを通じて、最新の動画生成モデル（Sora2-ProやVeo3.1など）の性能を最大限に引き出します。実験では、脚本への忠実度や映像の連続性を示す新指標VSAにおいて大幅な向上を記録し、自動映画製作における新たなパラダイムを確立しました。

なぜこの問題か

現在の動画生成技術は、Sora2-ProやVeo3.1、Wan2.5といった強力なモデルの登場により、短いテキストプロンプトから高品質で現実的な映像クリップを合成することが可能になりました。しかし、これらのモデルは、対話を中心とした複雑な物語を長尺で生成しようとすると、一貫性を失い、物語の文脈を正確に反映できなくなるという根本的な限界に直面しています。著者らは、この問題をクリエイティブなアイデアと、それを映画として実行するための詳細な計画との間に存在する「意味のギャップ」であると定義しています。この課題を解決するためには、3つの大きな困難を乗り越える必要があります。 第一に、まばらで断片的な対話から、その背後にある感情や文脈を詳細に理解することです。対話文だけでは、キャラクターの立ち位置や周囲の環境、その瞬間の感情的な機微が十分に記述されていないため、AIが勝手に解釈を加えてしまい、物語の意図が歪むことが多々あります。第二に、カメラの仕様や演出に関する映画製作の専門知識を持って、実行可能なプランを作成することです。…

核心：何を提案したのか

本研究の核心は、対話から映画風の動画を生成するためのエンドツーエンドのエージェントフレームワークを構築した点にあります。このフレームワークは、ScripterAgent、DirectorAgent、CriticAgentという3つの専門的なエージェントで構成されています。…

続きはログイン/プランで閲覧できます。