语音AI助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3ba3a83b/voice-ai-assistant。
技能介绍
要解决什么问题
想在本地或浏览器里做中文语音对话,又不想单独装桌面客户端或移动端 App 时,常见痛点是:语音识别、大模型调用和 TTS 要各自对接,还要处理 file:// 下的跨域限制。此技能的目标是生成一份可直接在浏览器使用的单页 HTML,把麦克风输入、模型推理(含可选图片)和语音播报串成一条链路。
技能如何工作
生成 assets/voice-ai-assistant.html 并放到你指定的目录(例如桌面)。页面侧能力包括:
- 语音输入:依赖浏览器 Web Speech API 做中文识别
- 语音播报:模型回复自动用中文朗读
- 连续对话:一轮回复结束后继续监听,适合免按键对话
- 图片上传:可将图片交给模型做内容分析
- 后端切换:在设置里配置 API Base URL 与模型名,支持本地 Ollama(如
http://localhost:11434/v1)或 DeepSeek 云端(https://api.deepseek.com/v1,需真实 API Key)
本地场景下文档推荐 qwen2.5:7b-instruct(中文与响应速度较均衡)。页面提供深色主题与 ⚙️ 设置入口,首次加载后填写 Base URL、Key(本地可占位)和模型即可使用。
适用边界与注意点
- 页面不能双击 HTML 用
file://打开:会被 CORS 拦截,需通过本地 HTTP 服务器访问(例如http://localhost:8080/下的页面文件) - 首次使用需授予麦克风权限;语音识别质量 strongly 依赖浏览器实现,Chrome / Edge 更稳妥
- 走 Ollama 时需本机已
ollama serve并拉取对应模型;云端走 DeepSeek 时需有效 Key - macOS 可额外生成
启动语音助手.command,用于一键起服务并打开浏览器,但每次会话仍依赖 HTTP 服务在运行
使用场景
- 本机已跑 Ollama,想在 Chrome 里用中文说话提问并听回复,不想从零写 Web Speech 与 API 对接
- 需要连续免按键对话:说完一句自动得到语音播报并继续监听,用于快速试对话流程
- 手头有一张截图或照片,想在同一会话里上传并让模型结合语音说明一起分析
- 对外演示「网页语音助手」原型,只需生成 HTML 并用本地 HTTP 服务打开给听众体验
适合人员
- 在本机用 qwen2.5 等模型做实验、希望五分钟内有可点可用的中文语音网页界面的后端/全栈工程师
- 不方便安装桌面语音客户端、但能在浏览器授权麦克风并自建 localhost HTTP 服务的个人用户
- 要验证「语音 + 图片」多模态交互、又不想搭完整前后端项目的原型/Product 验证者
- 已有 DeepSeek API Key、希望在浏览器里用中文语音输入输出而非纯文本聊天的 API 使用者