Artificial Analysis、TTSモデル向け「Time to First Audio」ベンチマークを公開

Artificial Analysisは、テキスト読み上げモデルが発話を開始するまでの速さを測定する「Time to First Audio」ベンチマークを発表した。主要モデルでは76ミリ秒から約1秒の範囲に分布している。このベンチマークは、4つの入力長にわたる12のプロンプトで毎日すべてのモデルをテストし、可聴音声が出力されるまでの時間を計測して、7日間の移動平均を報告する。ストリーミングモデルは中央値376ミリ秒であったのに対し、非ストリーミングモデルは2.0秒であった。
イベントのバージョン 1.
Key insights
Simba 3.5が200ミリ秒未満の階層をリード
SpeechifyAIのSimba 3.5は116ミリ秒で発話を開始し、200ミリ秒未満で開始するモデルの中で最高のArena Eloを記録している。InworldAIのRealtime TTS-2が186ミリ秒で続く。
Turbo variants cut latency at same quality
ElevenLabsのEleven v4 Turboは258ミリ秒で開始し、同じArena EloのEleven v4の653ミリ秒と比較して短い。Fish Audio Drama 3は258ミリ秒で並び、Cartesia Sonic 3.6は287ミリ秒である。
ストリーミングがレイテンシ性能を分ける
65のストリーミングモデルは数百ミリ秒以内に発話を開始し、中央値は376ミリ秒である。20の非ストリーミングモデルは何かを返す前に生成を完了する必要があり、中央値は2.0秒である。
ベンチマークの方法論
すべてのモデルは、4つの入力長にわたる同じ12のプロンプトで毎日測定され、最初のバイトではなく可聴音声のタイミングを計測し、7日間の移動平均を報告する。