Ada、Model Vault上のCohere Embedを使用し77msの検索レイテンシを報告
Adaは、Model Vault上のCohere Embedを使用することで、中央値77msの検索レイテンシ、オフライン埋め込みにおける2.7倍のドル当たりスループット、検索劣化が測定されない中での4分の1のベクトルストレージフットプリント、および90.7%のトップ10リコールを達成した。この結果は、より高速で正確なAI音声インタラクションと、よりコスト効率の高い情報検索を支えるものである。
イベントのバージョン 1.
Key insights
低い検索レイテンシ
Adaは、Model Vault上のCohere Embedを使用して中央値77msの検索レイテンシを記録した。このレイテンシは、より高速で正確なAI音声インタラクションを支える。
ドル当たりの埋め込みスループット向上
オフライン埋め込みは2.7倍のドル当たりスループットを実現した。この向上はコスト効率を高める。
ベクトルストレージの縮小
ベクトルストレージフットプリントは4分の1になり、検索劣化は測定されなかった。
高い検索リコール
Adaは正確な情報検索のために90.7%のトップ10リコールを報告した。