Agent Skills
返回列表
语音转写自动化

语音转写自动化

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-documentation-auto 到你的 AI 助手中。

技能介绍

要解决的问题

处理音视频内容时,把语音变成可用的结构化文本往往意味着大量胶水代码:格式转换、轮询任务状态、拆分长音频、区分多人对话,每一项都要自己维护。这个技能把转写、时间戳、说话人分离和音频智能分析收敛到一套一致的接口里,让工程师可以直接在业务代码中调用,而不必自建一套定制管线。

核心能力与工作方式

技能基于 Gladia 语音转写 API,提供两种模式:

  • 预录制(批量):上传 MP3、WAV、MP4 或 YouTube 链接,异步转写,适合录像、播客、会议归档。典型流程:准备音频 → 配置 language_config.languages、diarization、custom_vocabulary → 调用 transcribe() 或 POST /v2/pre-recorded → 轮询或 webhook 取结果 → 解析 transcription.utterances[] 获取文本、时间与置信度。
  • 实时(流式):通过 WebSocket 流式传输音频,适用于呼叫中心、直播字幕、语音助手。流程为 POST /v2/live 初始化 → 连接 WebSocket → 发送音频块 → 监听消息并用 is_final 区分中间稿与定稿 → stopRecording() 触发后处理。

返回结果带词级时间戳与置信度,并可选音频智能:翻译、摘要、说话人识别、命名实体、情感分析、PII 脱敏、字幕生成。遵循 SDK-first 策略,优先使用 @gladiaio/sdk(JS/TS)或 gladiaio-sdk(Python),认证通过 x-gladia-key 头。

适用边界与注意点

  • 预录制上限:单文件 1000 MB、135 分钟;超长内容需用 ffmpeg 切块。
  • 实时会话上限 3 小时:长活动需在上限前关闭并新建会话;断线后连同一 URL 可恢复上下文。
  • 说话人区分:diarization 仅预录制支持;多路独立音轨可用 multi-channel,但按「时长 × 声道数」计费。
  • 误识别调优:领域词先试 custom_vocabulary(默认 default_intensity: 0.4);能识别但拼错的词用 custom_spelling。
  • 轮询限流:优先配置 webhook,否则用指数退避轮询。
  • 实时中间稿不准:关键决策前务必确认 is_final: true。

使用场景

  • 播客团队要把成片音频转写成带时间戳的字幕与文稿,用于审核和归档。
  • 呼叫中心工程师需要实时流式转写通话,区分坐席与客户的话轮。
  • 数据团队处理多小时会议录音,需要批量转写并生成摘要与章节切分。
  • 产品需要对上传视频做词级时间戳转写,并屏蔽其中的敏感个人信息。

适合人员

  • 音视频后端工程师:需要把批量或流式转写稳定接入现有服务并处理轮询与回调。
  • 实时通信开发者:在呼叫中心或直播场景集成低延迟 WebSocket 转写。
  • 数据与 AI 工程师:要批量清洗长音频、做翻译、摘要与说话人归因。
  • 合规与数据安全负责人:需要对转写结果做 PII 脱敏和访问审计。