多音字のTTS発音検証にKaldi音素認識手法の有効性が確認される
多音字や難読漢字のTTS発音を検証するためのKaldiベースの音素認識手法が実現可能であると確認された。この手法はTTS音声をKaldi音声認識に入力し、認識された漢字ではなく、デコードされた音素系列を対象文字の正しい発音と比較する。再現チュートリアルでは、CPUのみのKaldiインストール、Vosk中国語音響モデル、および「攢竹穴」の「攢」がzǎnではなくcuánと読まれるかを確認するテストケースを扱っている。
イベントのバージョン 1.
Key insights
音素デコードは単語レベルの認識バイアスを回避する
単語レベルの認識は言語モデルの影響を受けるため、誤って発音された単語でも文脈的に妥当な単語として出力される可能性がある。音素は音響デコード経路から得られ、発音変異が音響的に競合するため、選択された音素系列は実際に生成された音を反映する。
conda-forgeによるCPUのみのKaldiセットアップ
チュートリアルでは、ソースからコンパイルするのではなく、conda-forgeからKaldi 5.5.1172のCPUビルドをインストールする。Linux x86_64、少なくとも4GBのメモリ、モデルと環境用に約4GBのディスクが必要である。
Vosk大規模中国語モデルが必要
この手法はVoskのvosk-model-cn-0.22大規模中国語モデルを使用する。これは音響モデル、HCLGデコードグラフ、単語リスト、i-vector抽出器を備えたパッケージ化されたKaldiチェーンモデルである。小規模モデルのプライベートルックアヘッドグラフ形式は、上流のKaldiデコーダでセグメンテーション違反を引き起こす。
キャリブレーション文が音素IDを固定する
曖昧さのない単語で構成されたキャリブレーション文を使用して音素番号を固定し、対象音節の声母、混同しやすい声母、声調、および同構造の音節をカバーする。cuánの場合、全/団、咱、敢、在/做、村/側などの単語がアンカーを提供する。
テストケースが攢竹穴の発音を確認する
テスト文は攢竹穴を自然な文脈に配置し、対象文字がクロスチェックのために2回出現する。正しい読みはcuánであり、zǎnではない。