数字人口播视频
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md ,在 Agent Skills 中安装 @org-bzwfrdvh/aipdd-digital-human 这个技能。
技能介绍
要解决的具体问题
截取抖音片段、转写音频、对口型、再把虚拟人放到静帧上,这些动作散落在不同工具里。每个环节有独立配置和失败原因,素材交接没有统一契约。改一句文案需要重走多个服务,错误信息不透明,排查时只能逐段试。
技能如何工作
技能包把流程收敛到单一统筹文件,并拆成五个职责清晰的子技能。
lip-sync:输入已有视频、人声参考和口播稿,先用 IndexTTS 合成配音,再用 LatentSync 对齐嘴型。avatar-video:输入角色图、场景图、人声参考和口播稿,通过 minimax h3 生成完整虚拟人播报。
文案侧的两个子技能为生成准备输入:douyin-copywriter 从抖音链接或音频文件 ID 提取口播文案,优先读取字幕接口,没有字幕时走原声直链转写;copywrite-rewrite 在参考文案基础上保留钩子、节奏和结构,生成可直接送入另一条链路的新稿。
模型调用全部通过 model-invoker 执行。它是配置、密钥、调用的唯一入口,命令以 SKILL.md 所在目录为工作目录运行。文案改写走 --backend newapi --type chat;语音转写走 --backend funasr,不在本技能包内散落密钥。
真正开始前,流程固定锁住三个决策:是否已有文案;是否需要 AI 仿写;选择哪种生成方式。补齐 HTTPS 素材后启动异步任务,最后用报告给出方式、后端与结果 URL。
适用边界与注意点
- 音频、视频和图片必须是公网可访问的 HTTPS 链接。内网资源要先落到可访问地址,本地文件没有直连入口。
- 生成是异步任务,一定要轮询确认完成。结果返回之前不要提前声称成功。
- 模型名以你的平台实际目录为准。默认是 indextts、latentsync、minimax-h3,但只要用户或平台提供了实际名称,就按实际值调用。
- 用户指定更具体的模型参数时要严格遵循。后端报错时原样抛出错误原因,不做静默替换或重试。
- 范围止于数字人口播所需的直接能力。原始实拍、时间线编辑和后期视觉特效不在这条链路里。
使用场景
- 编导正在剪一条抖音口播视频,已有配音音频和一个拍好的无声视频片段,想用跟读视频的方式重新输出有口型的版本。
- 运营今天刚配好虚拟主播的形象图和直播间背景图,希望直接根据当天的新脚本生成一段能开口播报的成片。
- 知识付费创作者囤了几份抖音爆款口播文案,想模仿原来的节奏和钩子改写一版全新稿件后再配成视频。
- 开发者手里只有脱敏后的新台词音频和一段旧片的视频素材,想给这个旧片段装上新台词对应的口型,不重新拍摄。
适合人员
- 负责知识付费课程包装的运营,痛点在于每节课都要找到能讲清楚知识点的口播文案并配出对应视频。
- 虚拟主播背后的内容策划,痛点在于每次开播或接推广时都要在有形象图和背景图的情况下产出可播报的成片。
- 专门的数字人视频剪辑师,痛点在于拿回来的素材经常只有裸音频和口播稿,需要逐条完成口型对齐才能上架。