低リソース環境におけるネパール語のニューラル多話者ボイスクローニング

TL;DR（結論）

本研究は、データ資源が極めて乏しいネパール語において、わずかな音声サンプルから特定の個人の声を再現する「フューショット音声クローニング」システムを開発しました。 システムは、話者の特徴を抽出するエンコーダ、デバナガリ文字からメルスペクトログラムを生成するTacotron2、そして高品質な音声を合成するWaveRNNの3つの主要なニューラルネットワークを統合して構成されています。 833名の話者による235時間の広範なデータセットを用いた検証の結果、未知の話者に対しても高い類似性と自然な音声品質を実現し、低リソース言語におけるパーソナライズされた音声合成の基盤を確立しました。

なぜこの問題か

音声クローニング技術は、ディープラーニングの飛躍的な進歩によって、テキストから人間と遜色のない自然な音声を直接生成することを可能にしました。しかし、この技術的な恩恵の多くは英語や中国語といったデータ資源が豊富な言語に集中しており、ネパール語のような低リソース言語については、これまで十分な研究が行われてきませんでした。ネパール語は言語的に非常に豊かであり、地域ごとに異なる方言や独特のアクセント、そして文化的に重要な意味を持つ多様な声が存在していますが、音声合成の研究分野においては過小評価されているのが現状です。 このような技術的な格差は、ネパール国内におけるエンターテインメント、アクセシビリティの向上、パーソナライズされた音声アシスタントなどの分野での最新技術の導入を著しく妨げる要因となっています。特に、音声障害を持つ人々へのコミュニケーション支援や、ネパールの貴重な音声遺産の保存と活性化という観点からも、ネパール語に特化した高度な音声合成システムの開発は極めて重要な課題でした。…

核心：何を提案したのか

本研究の核心的な提案は、ネパール語のデバナガリ文字によるテキスト入力から、最小限の音声データを用いて特定の個人の声を自在に合成できる「フューショット音声クローニング」システムの構築です。このシステムは、複数の話者の声を事前に学習することで、学習データに存在しない「未知の話者」の声であっても、わずか数秒のサンプルがあればその声色や話し方の特徴を抽出して音声を生成することができます。 この野心的な目的を達成するために、研究チームは2つの主要なデータセットを独自に構築しました。1つ目は、話者エンコーダを訓練するための、文字起こしを必要としない大量の話者による音声データ群です。2つ目は、シンセサイザー（合成器）を訓練するための、テキストと音声が正確にペアになった高品質なデータセットです。…

続きはログイン/プランで閲覧できます。