XNews

ローカルファーストのリアルタイム音声およびオフラインAIツール

ローカルファーストのリアルタイム音声およびオフラインAIツール

オープンソースプロジェクトがローカルファーストのリアルタイム音声およびデバイス内LLMツールを提供します。

Key insights

WhisperLiveKitは最適化されたローカルリアルタイム音声認識を提供

WhisperLiveKitは、ストリーミング遅延に特化した最適化を施したローカルリアルタイム音声からテキストへの変換と翻訳を実装するオープンソースのソリューションです。このプロジェクトには、スピーカーダイアライゼーションと音声活動検出(VAD)が含まれています。バックエンドは、faster-whisperやApple Silicon最適化のmlx-whisperなど、複数のエンジンをサポートしています。WhisperLiveKitは、約200の言語でリアルタイム翻訳を可能にするNLLWモデルを統合しており、PythonサーバーとWebフロントエンドの例、さらに本番環境のセットアップ用のDockerデプロイメントアーティファクトを提供します。

HyprnoteとGELab-Zeroがローカル会議ワークフローとデバイス内LLMを実現

Hyprnoteは、システムオーディオとマイク入力をキャプチャしてリアルタイム転写を行い、すべてのデータをデバイス内に保持するオープンソースのローカルファーストAI会議ノートアプリです。OllamaやLM Studioを介してローカルLLMを実行し、音声からテキストへの変換から要約生成までのオフラインのエンドツーエンドタスクを実行することをサポートし、カスタムノートテンプレートや遅延編集ワークフローを提供します。別途、GELab-Zeroは、AndroidDailyテストセットで73.4%の精度に達したと報告されている4Bローカルモデルであり、モバイルおよびPC GUIシナリオをサポートしており、会議やアシスタントアプリケーション向けの実行可能なデバイス内LLM GUIを示唆しています。

Source posts