技能介绍

问题从哪来

语音对话不像聊天窗口：用户说完到助手开口之间的总延迟会决定对话是顺畅还是「对讲机感」。更麻烦的是，你要在可控性和端到端时延之间做架构取舍——选错路径，后面用提示词很难补回来。

技能如何组织思路

本技能把语音助手当成系统架构问题，而不是单个模型调用：

语音到语音（S2S）：例如 OpenAI Realtime API 一类路径，音频直连音频，通常延迟最低，也更易保留语气与情感，但中间环节少，行为可控性相对弱。
管道架构（STT → LLM → TTS）：每一步可单独换模型、加策略、做日志与纠错，控制面最大，代价是链路更长、毫秒累加。
话轮与打断：除静默超时外，强调语音活动检测（VAD）、话轮切换（turn-taking）与打断（barge-in）；反模式包括「只靠固定静默判停」和「响应过长拖慢回合」。

文档还给出一套可操作的延迟与体验指标（例如抖动 p50/p95 目标）以及常见故障表：延迟超预算、语义 VAD 缺失、STT 错误传播、文本未按口语优化、噪音与回声处理不足等，并对应到具体缓解方向（置信度、上下文纠正、口语化提示、降噪/回声消除等）。

适用边界

它面向架构与集成决策（选型、预算、对话策略），不替代具体厂商 SDK 的接入细节。若你的场景需要多智能体编排、工具调用或后端承载，可与 agent-tool-builder、multi-agent-orchestration、llm-architect、backend 等技能衔接设计。