音视频转录
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_546a2141/audio-and-video-transcription。
技能介绍
要解决什么问题
采访、会议、课程录像往往只有音视频,整理成可检索、可引用的文字稿还要区分「谁在什么时候说了什么」。纯听写工具常常没有说话人标签;云端 ASR 又要 API Key 且长音频容易超时。若同一段内容被拆成多个文件,还容易误当成多篇独立文档。
技能如何工作
整条链路面向 交付 Word(.docx),而不是中间 Markdown:
- 预处理:
ffmpeg抽视频静帧、转 16k 单声道 MP3;多文件时由用户指明归属后合并再转录。 - 默认本地 ASR:Paraformer-large(魔搭下载、可离线),模型内用 CAM++ 做说话人分离,输出带
SPEAKER_XX的结构化_transcript.json。 - 切段:按模型能力与时长自动切(如长音频约 4 分钟/段),不额外打断用户。
- 后处理:同音字校对(LLM 或
call_qwen.py)、摘要与人物信息写入_document.json,build_document.py组装对话轮次(长独白自动分段)。 - 成稿:
build_docx.py直接渲染摘要、人物表、彩色圆点区分说话人的对话记录;交付前可预览说话人与摘要要点。
可选 Qwen3-ASR-Flash(DashScope);云端无原生说话人分离,需 LLM 语义切分。长耗时步骤应后台跑并轮询进度,避免 Agent 前台阻塞。
适用边界与注意点
- 本地说话人分离依赖 punc_segment 句子级 四件套(VAD + 标点 + Paraformer nat + CAM++);配置不对会出现「前几秒并成同一人」。
- SenseVoice 等路径下句级时间码多为段内插值估计,勿对外承诺「精确到秒」。
- 多段音视频必须用户说明哪些文件同属一段,否则默认各生成一篇文档。
- 钉钉等在线文档不能渲染本地图片路径,分发需按技能说明上传媒体;未经授权勿发聊天消息。
使用场景
- 同一期采访被切成多段 MP4/音频,需先合并再转写,并在 Word 里按说话人轮次排版,附带摘要与人物简介。
- 线下或内网环境无法使用云端 Key,需用 Paraformer-large 离线转录长会议录音,并完成 CAM++ 多说话人聚类。
- 课程或讲座录像要抽最清晰静帧作封面,同时将全文转录为可修订 docx,便于摘录引用原话。
- 转录稿存在大量同音字误识别,需在生成 docx 前做上下文校对,并交付前预览说话人划分是否正确。
适合人员
- 校媒或自媒体记者:常收分段采访素材,要把多人对话整理成一篇带人物信息与分板块摘要的采访稿。
- 人力与招聘同事:需把视频面试录音转成带说话人标签的 Word 记录,供内部复核与留档,而非只听原音频。
- 口述史或质性研究助理:要把长访谈归档为结构化文档,保留人物表、总结摘要与按轮次排列的对话正文。
- 用钉钉文档协同的编辑:转录完成后需把正文与封面图按平台规则上传同步,避免本地路径在在线文档中无法显示。