XNews

Kaldi音素识别方法经验证可用于验证多音字TTS发音

一种基于Kaldi的音素识别方法,用于验证多音字和生僻汉字的TTS发音,已被验证为可行。该方法将TTS音频输入Kaldi语音识别,并将解码得到的音素序列(而非识别出的汉字)与目标字的正确发音进行比较。一份复现教程涵盖了仅CPU的Kaldi安装、Vosk中文声学模型,以及一个测试用例,检查“攒竹穴”中的“攒”是否读作cuán而非zǎn。

事件版本 1.

Key insights

音素解码避免词级识别偏差

词级识别受语言模型影响,因此发音错误的词仍可能被输出为上下文合理的词。音素来自声学解码路径,在该路径中发音变体在声学上竞争,因此选定的音素序列反映了实际发出的声音。

通过conda-forge进行仅CPU的Kaldi设置

该教程从conda-forge安装Kaldi 5.5.1172 CPU版本,而非从源代码编译。它需要Linux x86_64、至少4 GB内存,以及约4 GB磁盘空间用于模型和环境。

需要Vosk大型中文模型

该方法使用Vosk vosk-model-cn-0.22大型中文模型,这是一个打包的Kaldi链模型,包含声学模型、HCLG解码图、词表和i-vector提取器。小型模型的私有前瞻图格式会导致上游Kaldi解码器出现段错误。

校准句锚定音素ID

使用由无歧义词组成的校准句来锚定音素编号,覆盖目标音节的声母、易混淆声母、声调以及同结构音节。对于cuán,全/团、咱、敢、在/做和村/侧等词提供锚点。

测试用例检查攒竹穴发音

测试句将攒竹穴置于自然上下文中,目标字出现两次以便交叉检查。正确读音是cuán,而非zǎn。

Source posts