技能介绍

要解决什么问题

做数字人播报或陪伴类对话时，常见痛点是链路被拆成好几段：先 TTS 出音频，再换平台生成口型视频，会议录音还要单独转写。国内团队若依赖海外数字人 API，往往还要处理代理与鉴权不稳定。数字人多模态交互把「合成 → 虚拟人播报 → 对话 → 转写 → 再回数字人视频」收成一条可编排路径；v3.0 起数字人侧对接科大讯飞虚拟人，国内可直接访问，使用 HMAC-SHA256 签名。

技能如何工作

命令面大致分五块（资料中共 21 条）：

TTS 与本地视频：tts-speak 支持 EdgeTTS / 阿里 / 火山；tts-video 用 ffmpeg 把语音与背景图合成视频。
数字人播报（讯飞真实 API）：avatar-list / avatar-voices 查看内置 11 个中国面孔形象与 9 个中文发音人；avatar-speak 文本驱动播报，通过 stream_url 拉流；avatar-status 结束会话；avatar-scene 可配新闻 / 直播 / 教育 / 会议等场景。
陪伴咨询：companion-chat 等多条命令覆盖模式切换、用户画像、重置；文档描述为含情感分析的对话层，并带 companion-crisis 危机信号检测与干预。
语音处理：voice-transcribe（Whisper）、voice-minutes、voice-to-avatar 等，支持「录音 → 纪要 → 数字人视频」全链路。
报告：emotion-report、history 用于情绪变化与操作回溯。

典型播报流：选形象 → avatar-speak 启动会话 → 拉流播放 → avatar-status 收尾。典型会议补发流：voice-transcribe → voice-minutes → voice-to-avatar。

边界与注意点

讯飞侧需在控制台开通「AI虚拟人技术」，凭证通过环境变量或 --app-id / --api-key / --api-secret 传入；按调用量计费，新用户有体验额度。
陪伴场景文档列出高考心理疏导、独居老人、情感陪伴等 6 种模式，但仍是 Agent 编排能力，不能替代持证心理咨询或医疗诊断。
安全机制包括危机关键词干预、对话情感分析、凭证不落日志；部署时仍需自行评估合规与隐私留存策略。