语音转写自动化
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-documentation-auto 到你的 AI 助手中。
技能介绍
要解决的问题
处理音视频内容时,把语音变成可用的结构化文本往往意味着大量胶水代码:格式转换、轮询任务状态、拆分长音频、区分多人对话,每一项都要自己维护。这个技能把转写、时间戳、说话人分离和音频智能分析收敛到一套一致的接口里,让工程师可以直接在业务代码中调用,而不必自建一套定制管线。
核心能力与工作方式
技能基于 Gladia 语音转写 API,提供两种模式:
- 预录制(批量):上传 MP3、WAV、MP4 或 YouTube 链接,异步转写,适合录像、播客、会议归档。典型流程:准备音频 → 配置
language_config.languages、diarization、custom_vocabulary→ 调用transcribe()或POST /v2/pre-recorded→ 轮询或 webhook 取结果 → 解析transcription.utterances[]获取文本、时间与置信度。 - 实时(流式):通过 WebSocket 流式传输音频,适用于呼叫中心、直播字幕、语音助手。流程为
POST /v2/live初始化 → 连接 WebSocket → 发送音频块 → 监听消息并用is_final区分中间稿与定稿 →stopRecording()触发后处理。
返回结果带词级时间戳与置信度,并可选音频智能:翻译、摘要、说话人识别、命名实体、情感分析、PII 脱敏、字幕生成。遵循 SDK-first 策略,优先使用 @gladiaio/sdk(JS/TS)或 gladiaio-sdk(Python),认证通过 x-gladia-key 头。
适用边界与注意点
- 预录制上限:单文件 1000 MB、135 分钟;超长内容需用 ffmpeg 切块。
- 实时会话上限 3 小时:长活动需在上限前关闭并新建会话;断线后连同一 URL 可恢复上下文。
- 说话人区分:diarization 仅预录制支持;多路独立音轨可用 multi-channel,但按「时长 × 声道数」计费。
- 误识别调优:领域词先试
custom_vocabulary(默认default_intensity: 0.4);能识别但拼错的词用custom_spelling。 - 轮询限流:优先配置 webhook,否则用指数退避轮询。
- 实时中间稿不准:关键决策前务必确认
is_final: true。
使用场景
- 播客团队要把成片音频转写成带时间戳的字幕与文稿,用于审核和归档。
- 呼叫中心工程师需要实时流式转写通话,区分坐席与客户的话轮。
- 数据团队处理多小时会议录音,需要批量转写并生成摘要与章节切分。
- 产品需要对上传视频做词级时间戳转写,并屏蔽其中的敏感个人信息。
适合人员
- 音视频后端工程师:需要把批量或流式转写稳定接入现有服务并处理轮询与回调。
- 实时通信开发者:在呼叫中心或直播场景集成低延迟 WebSocket 转写。
- 数据与 AI 工程师:要批量清洗长音频、做翻译、摘要与说话人归因。
- 合规与数据安全负责人:需要对转写结果做 PII 脱敏和访问审计。