参考音频生视频
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @infimind/audio-reference-to-video。
技能介绍
要解决什么问题
做多镜头或带角色一致性的 AI 视频时,往往不只要文字提示,还要把参考音频、参考图或参考视频交给模型,并处理上传凭证、模型 ID、路由价格和异步任务轮询。直接调 OpenAPI 时,模型名、媒体限制和计费快照都随后台配置变化,手搓脚本容易重复提交已计费任务或选错 publicModelId。
本技能把 AI Hive OpenAPI 收成独立入口 audio-reference-to-video:固定使用 public_model_seedance_2_5_r2v 的 r2v(参考生视频) 能力,通过 videogen.py generate --mode r2v 完成素材校验、自动上传、按 COST_FIRST(可改路由)读取价格快照、提交任务并轮询下载,默认落到 ~/Downloads/AiHive。
核心怎么跑
- 素材侧:支持
--first-frame/--last-frame、--image(可多张)、--video、--audio(可多段);脚本负责上传凭证、对象存储与完成确认,限制以实时videoConfig为准。 - 生成侧:
--prompt必填;分辨率、时长等经--param key=value传入;--no-download只拿taskId,之后用task --task-id续查,避免超时后误重复提交。 - 运维侧:API Key 经环境变量、
--api-key或~/.ai-hive/config.json;可用init --skill-name audio-reference-to-video做首次配置;upload --file单独拿mediaId。
边界与注意点
这是 Seedance 2.5 参考生视频 的 CLI 产品化封装,不是通用「换任意模型」入口;价格与活动以提交当次的 pricingSnapshot 和实际扣费为准。提示词建议区分主体动作与镜头运动;电商、广告类描述需遵守 SKILL 中的合规约束(不虚构功效、价格或认证)。本地轮询超时不等于任务失败,应保留 taskId 继续查询。
使用场景
- 短剧分镜已定稿,需用同一条参考音频驱动多镜 r2v 生成并保持角色外观一致
- 电商详情页要补一段产品使用过程视频,上传参考图与参考视频突出材质与卖点
- 广告 TVC 需用 `--video` 指明运镜节奏,再叠加 `--audio` 对齐配音情绪生成成片
- 生成队列较长,先 `--no-download` 提交拿 taskId,剪辑间隙再用 task 子命令拉结果
适合人员
- 短剧/漫剧分镜师:需要先固定角色服装场景,再逐镜提交 r2v 且每镜只描述一个明确动作
- 电商视觉/静物摄影师:要把实拍参考图与演示视频转成符合平台规格的 AI 展示短片
- 信息流带货剪辑:需要竖屏节奏成片,用参考音频对齐口播与产品使用镜头
- 内部工具/运维工程师:要为团队封装 AI Hive,避免同事手改模型 ID 或重复提交计费任务