本地优先的实时语音和离线AI工具

开源项目提供本地优先的实时语音和设备内LLM工具。
Key insights
WhisperLiveKit提供优化的本地实时语音识别
WhisperLiveKit是一个开源解决方案,实现了本地实时语音转文本和翻译,并针对流媒体延迟进行了特定优化。该项目包括说话人分离和语音活动检测(VAD)。其后端支持多个引擎,包括faster-whisper和针对Apple Silicon优化的mlx-whisper。WhisperLiveKit集成了NLLW模型,以支持约200种语言的实时翻译,并提供Python服务器和Web前端示例以及用于生产设置的Docker部署工件。
Hyprnote和GELab-Zero实现本地会议工作流程和设备内LLM
Hyprnote是一个开源的本地优先AI会议笔记应用,捕获系统音频和麦克风输入以进行实时转录,同时将所有数据保留在设备上。它支持通过Ollama或LM Studio运行本地LLM,以执行从语音转文本到摘要生成的离线端到端任务,并提供自定义笔记模板和延迟编辑工作流程。另一方面,GELab-Zero是一个4B本地模型,据报道在AndroidDaily测试集上达到了73.4%的准确率,并支持移动和PC GUI场景,暗示可行的设备内LLM GUI用于会议或助手应用。