カスケード等価仮説：音声大規模言語モデルはいつ自動音声認識→言語モデルのパイプラインのように振る舞うのか。
書き起こしだけで解ける課題では、多くの音声大規模言語モデルが内部で暗黙の書き起こし表現を作り、その後に言語モデルとしての推論を進めるため、同じ言語モデルを組み合わせた自動音声認識→言語モデルのカスケードと、出力だけでなく失敗の仕方まで似やすいです。
Cog AI Archive
最新の記事
視覚誘導型音響ハイライティングのための条件付きフローマッチング
映像の視覚情報に基づいて音声のバランスを調整する「視覚誘導型音響ハイライティング（VisAH）」において、従来の識別モデルの限界を克服するため、生成モデルである条件付きフローマッチング（CFM）を用いた新手法「VisAH-FM」を提案した。
MK-SGC-SC：教師なし話者ダイアリゼーションのためのスペクトラルクラスタリングにおける複数カーネル誘導スパースグラフ構築
MK-SGC-SCは、4つの多項式カーネルと1つのアークコサインカーネルを統合し、話者埋め込み間の類似性を多角的に評価することで、事前学習や外部の教師情報を一切必要としない完全な教師なし設定において最高水準のダイアリゼーション精度を達成する手法である。
学習可能なプロジェクションによるLLMベースの音声認識におけるプロンプト感度の低減
大規模言語モデル（LLM）を用いた音声認識（ASR）において、人間が手動で設計する固定プロンプトの文言や配置が、単語誤り率（WER）などの性能に極めて大きな影響を与え、データセットごとに最適解が異なるという深刻な不安定性を引き起こしていることが本研究の体系的な調査によって明らかになりました。
テキストデノイジングを通じたLLMベースのASRにおけるテキストのみの適応
大規模言語モデル（LLM）を活用した音声認識システム（ASR）において、音声とテキストが対になっていないテキストのみのデータを用いて新しいドメインに適応させることは、音声とテキストの整合性を維持する観点から困難な課題であった。
asr_eval：マルチリファレンスおよびストリーミング音声認識評価のためのアルゴリズムとツール
音声認識（ASR）の評価において、表記揺れや聞き取り困難な箇所を柔軟に扱うための新アルゴリズム「MWER」と、包括的な評価ライブラリ「asr_eval」が提案されました。 MWERは、複数の正解候補を波括弧で記述するマルチリファレンス構文、任意の挿入を許容するワイルドカード、ハルシネーションによる指標の歪みを抑える緩和ペナルティを導入し、より人間に近い評価を実現します。 ロシア語の長尺データセットを用いた検証では、従来のテキスト正規化に頼る評価が、モデルが特定の表記規則に過剰適合することで生じる「指標の錯覚」を引き起こし、真の性能向上を誤認させるリスクがあることが示されました。
PhaseCoder：マルチモーダルLLMのためのマイク配置に依存しない空間オーディオ理解
PhaseCoderは、マイクの個数や配置といった幾何学的な条件に依存することなく、多チャンネルの音声データから豊かな空間情報を抽出することが可能な、トランスフォーマーのみで構成された画期的な空間オーディオエンコーダである。
PhaseCoder：マルチモーダルLLMのためのマイク配置に依存しない空間オーディオ理解
PhaseCoderは、マイクの数や配置に縛られず、多チャンネルの生音声とマイクの3次元座標から直接空間情報を抽出できる、トランスフォーマーのみで構成された革新的な空間オーディオエンコーダーである。
PhaseCoder：マルチモーダルLLMのためのマイク配置に依存しない空間オーディオ理解
現在のマルチモーダル大規模言語モデル（LLM）は音声をモノラルとして処理しており、音の方向や距離といった空間情報の活用が困難であったが、本研究ではマイクの数や幾何学的配置に依存せず、あらゆるデバイスで利用可能な空間オーディオエンコーダ「PhaseCoder」を提案した。
音楽盗作検知：問題の定式化とセグメントに基づく解決策
音楽盗作検知を、既存のカバー曲識別やオーディオフィンガープリンティングとは異なる独自の課題として定義し、楽曲全体ではなく部分的な類似性や特定の音楽要素（メロディ、コード、リズム）の模倣を特定する必要性を明確にした。