Morphe: ビジョン基盤モデルを用いた高忠実度な生成的ビデオストリーミング

TL;DR（結論）

現在のインターネットトラフィックの65%以上を占めるビデオストリーミングは、高速鉄道や遠隔地などの不安定なネットワーク環境において、従来のH.264やH.265といったピクセルベースのコーデックでは帯域不足による品質劣化や再生の中断を避けられないという深刻な課題に直面しています。 本論文で提案される「Morphe」は、視覚基盤モデル（VFM）の強力な理解・生成能力をエンドツーエンドで統合した革新的な生成型ストリーミングシステムであり、視覚強化型生成コーデック、解像度スケーリング加速器、およびネットワーク適応型コントローラという3つの主要モジュールによって構成されています。 大規模な検証の結果、Morpheは従来のH.265と比較して帯域幅を62.5%削減しながら同等の視覚品質を維持し、NVIDIA RTX 3090環境において1080p動画の65fpsリアルタイム配信を達成するとともに、厳しいパケットロス条件下でも安定した映像伝送を可能にしました。

なぜこの問題か

現代のインターネットにおいて、ビデオコンテンツは全トラフィックの65%以上を占める支配的な存在となっています。しかし、高品質な映像へのアクセスは、クライアントとサーバー間の不十分かつ不安定なネットワーク帯域によってしばしば妨げられています。特に高速鉄道での移動中や遠隔地、災害時などの過酷な環境では、この問題が顕著です。例えば、ビジネス利用者が地方で重要なビデオ会議に参加しようとしても、2Gネットワークのような100kbps程度の帯域しか確保できない場合、最低限必要な300kbpsに満たず、通信が成立しません。従来のH.264やH.265といったピクセルベースのコーデックは、隣接する画素ブロック間の相関を利用して冗長性を排除する仕組みですが、帯域が50kbpsを下回ると、ブロックノイズやゴースト現象、詳細の喪失といった致命的な劣化が発生し、実用性を失います。 これに対し、ニューラルネットワークを用いたストリーミング手法も登場していますが、これらは計算負荷が非常に高く、遅延が増大するという課題があります。…

核心：何を提案したのか

本研究では、視覚基盤モデル（VFM）の能力を最大限に引き出し、高忠実度、低遅延、かつパケットロスに強いビデオ配信を実現するエンドツーエンドのシステム「Morphe」を提案しました。Morpheという名称は、形を形作るギリシャの神に由来しており、高度に圧縮された潜在的な特徴から高忠実度な映像をインテリジェントに再構成するというシステムの核となる機能を象徴しています。このシステムは、従来のピクセルベースの圧縮限界を打破し、意味レベルでの情報伝送を行うことで、極めて低い帯域幅でも高品質な視聴体験を提供することを目指しています。 Morpheの設計は、主に3つの革新的なコンポーネントで構成されています。…

続きはログイン/プランで閲覧できます。