ToS: 動画内の距離推定を伴うステレオ音響イベントの定位と検出のためのスペシャリストチーム・アンサンブルフレームワーク

TL;DR（結論）

音響イベントの検出、定位、距離推定を同時に行う3D SELDは、意味（何が）、空間（どこで）、時間（いつ）という3つの次元を統合的に推論する必要があり、単一のモデルではこれら全ての要素を最適化することが困難という課題がありました。本研究では、これら3次元のうち2つずつの組み合わせに特化した3つのサブネットワーク（空間・言語、空間・時間、時間・言語）を統合する「Team of Specialists (ToS)」というアンサンブルフレームワークを提案し、各専門家が補完的な知見を持ち寄る仕組みを構築しました。DCASE 2025のステレオSELDデータセットを用いた検証の結果、提案手法は既存の最新モデルを全ての主要指標で上回り、特にF1スコアで12%の相対的向上、方向誤差で22%の削減を達成するなど、複数の専門的視点を融合させるアプローチの極めて高い有効性が実証されました。

なぜこの問題か

音響イベントの定位と検出に距離推定を加えた「3D SELD」は、特定の時間枠において活動している音響イベントの種類を特定し、その空間的な座標（方位角および距離）を動的に推定するという、極めて難易度の高いマルチモーダルな課題です。このタスクは、音響イベント検出（SED）と音源定位（SSL）を組み合わせたものであり、マルチチャンネル音声とビデオ情報の双方を高度に活用する必要があります。2019年にDCASEチャレンジに導入されて以来、この分野は動的な音源への対応や干渉に対する堅牢性、360度ビデオでの利用など、より現実的で困難なシナリオへと進化を遂げてきました。特に2025年のタスクでは、従来の形式に代わり、主流のメディア形式に近いステレオ音声と正面視点のビデオが採用されました。この変更により、仰角や前後判定の曖昧さを避けるための制約が生じ、方位角のみの推定や、音源が画面内にあるか画面外にあるかの判定という新たな要素が加わりました。…

核心：何を提案したのか

本研究では、3D SELDにおける多次元的な複雑さを攻略するために設計された、新しいアンサンブルフレームワーク「Team of Specialists (ToS)」を提案しています。このフレームワークの核心は、3つの独立したサブネットワークを統合し、それぞれが特定の2つの次元の組み合わせに焦点を当てて最適化されている点にあります。具体的には、空間と意味の理解を重視する「空間・言語スペシャリスト（Spatio-Linguistic）」、空間と時間の変化を捉えることに長けた「空間・時間スペシャリスト（Spatio-Temporal）」、そして時間的な推移と意味的な分類に特化した「時間・言語スペシャリスト（Tempo-Linguistic）」の3つで構成されています。…

続きはログイン/プランで閲覧できます。