Realtime 播客生成
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/podcast-generation-zh。
技能介绍
要解决什么问题
把长文或脚本变成可听的播客,常见做法是接 TTS 再拼文件,延迟高、口播感弱,也很难在生成过程中同步展示字幕。本技能面向 Azure OpenAI Realtime API(文档中的 GPT Realtime Mini 场景):用 WebSocket 从文本提示流式拉取音频块,并同时拿到转写增量,便于边生成边播放。
技能如何工作
整体链路可以概括为五步:
- 为 Realtime API 配置环境变量(注意:端点只用基础 URL,不要带
/openai/v1/)。 - 连接 Azure 的 Realtime WebSocket 端点。
- 发送文本提示,监听
response.output_audio.delta(Base64 音频块)与response.output_audio_transcript.delta(转写文本)。 - 用
scripts/pcm_to_wav.py将 PCM(24kHz、16 位、单声道)转为 WAV。 - 将 Base64 编码音频交给前端播放;
response.done表示生成结束,错误走event.error.message。
音色可在 alloy / echo / fable / onyx / nova / shimmer 间切换(从中性到低沉、清晰等风格)。更完整的栈设计与生产示例见资料中的 references/architecture.md 与 references/code-examples.md。
适用边界与注意点
- 依赖 Azure OpenAI 与 Realtime 端点可用性,不是通用离线 TTS。
- 输出格式固定为 PCM 流再转 WAV,前端需能处理 Base64 音频。
- 流式事件模型需在后端正确订阅与收尾,避免只收音频不收
response.done导致状态悬空。
使用场景
- 已有文章或讲稿 Markdown,需在后台一键生成可播放的 WAV,并在页面上边收 `output_audio.delta` 边播放。
- 课程或内训脚本定稿后,要把纯文本转成口播音频,并同步展示 `output_audio_transcript` 转写供校对。
- 运营侧维护长文 Newsletter 正文,想先用六种音色之一试听后选定再发布音频版。
- 产品文档从 Confluence 导出为提示词,经 Realtime 会话输出 PCM,再用仓库脚本转 Base64 WAV 给 H5 试听。
适合人员
- 负责接入 Azure Realtime WebSocket、处理 `response.done` 与错误事件的后端工程师
- 每周把长文稿件交给音频渠道、又不想手工进录音棚排期的内容运营
- 需要把教学大纲文本批量试听不同音色(alloy/nova 等)再定稿的课程制作人
- 维护文档站、希望给技术长文附带可流式播放试听的前端或全栈开发