实时语音对话管线
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_1a99cb00/speech-to-speech。
技能介绍
要解决的具体问题
传统语音对话方案往往把 VAD(语音活动检测)、STT(语音转文本)、LLM(大语言模型)和 TTS(文本转语音)等模块深度耦合在一起。开发者如果想替换某个环节——比如从云端 OpenAI 切换到本地 vLLM,或者把 Whisper 换成 Parakeet TDT——往往需要重写整个管线,重新适配接口和时序。这种僵化的架构在面对不同硬件(如 Reachy Mini 机器人)、不同部署环境(离线或云端)或自定义的语音交互逻辑时,成本极高。
技能如何工作
该技能将语音 Agent 管线拆解为 独立的可替换模块,每个环节都能自由选择:
- VAD:检测音频流中的有效语音段,过滤静音和环境噪音
- STT:可选
Parakeet TDT等本地模型,或接入云端转写服务 - LLM:兼容
OpenAI托管 API,也可切换至vLLM或llama.cpp实现全离线推理 - TTS:支持
Qwen3-TTS等本地语音合成,或远程 TTS 服务
整个管线通过一个 兼容 OpenAI Realtime 的 WebSocket 接口 暴露。应用只需要将原有的 api.openai.com 端点替换为自托管的 ws://localhost:8765/v1/realtime,无需修改客户端代码即可获得完整的语音对话能力。
适用边界与注意点
- 工程能力要求:需要开发者熟悉每个模块的配置,无法做到"开箱即用"
- 极端低延迟场景:默认配置的延迟优化以
Reachy Mini机器人等嵌入式设备为目标,其他硬件上可能需要调整 - 硬件兼容性:已在数千台
Reachy Mini上验证,其他机器人平台需自行评估端到端的实时性和资源占用 - 工具链依赖:本地部署时,
vLLM或llama.cpp的编译与优化需要一定基建投入
使用场景
- 企业要把语音助手的 OpenAI Realtime 端点换成自托管 ws 地址,降低成本并保证数据不出域
- 机器人团队开发 Reachy Mini 的语音指令交互,需要低延迟端到端语音管线并支持本地运行
- 算法工程师要替换 STT 或 TTS 模块重新组装语音 Agent 管线,而不改动客户端代码
- 团队要使用 vLLM 或 llama.cpp 跑本地 LLM,同时保留本地 VAD 和 TTS 以实现全离线闭环
适合人员
- 构建跨平台语音应用的开发工程师,需要在不同 STT/TTS 模型间切换而不重写客户端
- 处理敏感客户通话、要求语音数据本地化的企业技术团队,需要替换云语音 API
- 将语音交互嵌入机器人或嵌入式设备的工程师,需要可替换组件且低延迟的语音管线
- 用 vLLM 或 llama.cpp 跑本地 LLM,并组合 VAD/STT/TTS 搭建专属语音 Agent 的算法工程师