Agent Skills
返回列表
Gladia 实时语音转写

Gladia 实时语音转写

设计多媒体 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-live-transcription。

技能介绍

要解决什么问题

语音助手、会议记录、呼叫中心质检和直播字幕都需要边采边出字:延迟要低、片段要能不断更新,而不是等整段录音结束再跑离线 ASR。若你手里是现成的音视频文件或 URL,应走预录转写;本技能对应的是 Gladia Live API——通过 WebSocket 持续推送音频、实时收回转写与相关事件。

技能如何帮你落地

文档强调 SDK 优先:用官方 SDK 的 startSession() 建会话,再用 sendAudio() / send_audio() 按约 100ms 一帧连续送流,格式上的 encoding、sample_rate、bit_depth、channels 必须与真实流一致。会话里可配语言、receive_partial_transcripts、以及 endpointing(最终稿延迟与完整度的主旋钮:语音助手常见 0.05–0.1,字幕 0.2–0.4)。正常收尾是 stopRecording() 后用 get(id) 取最终结果;会话管理还有 list、getFile、delete 等,细节见技能内 references。

边界与常见坑

  • 单会话最长 3 小时;免费档并发 1 路,付费档 30 路;计费按流式音频秒数,多声道按声道数乘时长。
  • 支持编码包括 wav/pcm、wav/alaw、wav/ulaw;勿把下载路径当成 /audio,文件端点是 /v2/live/:id/file。
  • 未调用 stopRecording() 会话会挂住;格式不一致是最常见的集成失败原因。Live 模式不提供预录里的说话人分离、PII 脱敏等能力——需要那些特性请换 pre-recorded-transcription 技能。

使用场景

  • 电话或 SIP 场景下,将通话音频经 WebSocket 持续送入 Gladia Live 会话,边通话边生成坐席助手可用的转写文本。
  • 构建语音对话 Agent 时,从麦克风采集 PCM 并按约 100ms 分块 `sendAudio`,用较低 endpointing 尽快得到最终句段再触发下游逻辑。
  • 会议或直播推流中,对广播音轨做实时 ASR,开启 partial 转写并在字幕端滚动展示,endpointing 偏向 0.2–0.4。
  • 多路并发通话质检或录音归档:为每路流单独 `startSession`,结束后 `stopRecording` 并用 `get(id)` / `getFile` 取最终结果与文件。

适合人员

  • 负责 Gladia 官方 SDK 集成的后端工程师,需要把 encoding、采样率与 endpointing 配到生产环境并处理 WebSocket 重连。
  • 做浏览器端实时会议助手的全栈开发,要在前端采集音频后连续分块推送,并订阅 partial 与 speech 事件。
  • 呼叫中心或话务台产品负责人,要在免费 1 路或付费 30 路并发限制下规划会话时长与按秒计费。
  • 维护直播字幕链路的音视频工程师,需保证声道数、位深与 `startSession` 配置和实际推流完全一致,避免格式不匹配。