XNews

Artificial Analysisが話者分離インデックスを発表、NVIDIA Nemotron 3.5 Transcribeが3.3%で首位

Artificial Analysisが話者分離インデックスを発表、NVIDIA Nemotron 3.5 Transcribeが3.3%で首位

Artificial Analysisは、2〜8人の97件の会話を対象に、単語話者分離誤り率(Word Diarization Error Rate)で音声認識APIを評価するベンチマーク「Diarization Index」を発表した。NVIDIAのNemotron 3.5 Transcribeが3.3%で首位、Voxtral Small Transcribe 3が7.5%で続く。

イベントのバージョン 1.

Key insights

新ベンチマークが話者帰属を測定

Diarization Indexは、誤った話者に割り当てられた単語、または話者が割り当てられなかった単語の割合である単語話者分離誤り率でAPIを評価する。2〜8人の97件の会話を対象とし、各グループサイズに等しい重みを置いている。

Nemotron 3.5 Transcribeが首位

NVIDIAのNemotron 3.5 Transcribeが3.3%のWDERでインデックス首位。Voxtral Small Transcribe 3が7.5%で2位。

Source posts