UnityClaw 多参考图视频生成
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_fabd0a58/unityclaw-gen-video-happyhorse
技能介绍
先解决什么?
做视频生成时,常见三个麻烦:拿多张参考图时,模型常把它们当“通用素材”,不区分各自承担的角色;首帧动画里,说不清“哪些该动、哪些要贴紧原图”,导致输出飘了;生成后只看返回消息,不管本地文件是不是真的存在、大小是否正常,交出去才发现是空文件。这个技能就是处理这三件事。
核心能力与关键步骤
它支持三种输入:纯文本、最多9张参考图、或用一张首帧图直接动画化,输出可控的 HappyHorse 视频。整个流程拆成三步:
- 1. 先定义镜头:要提取主体、时间动作、镜头运动、场景、构图、光影、风格、时长、目标版式,还要给每张参考图写清“它提供什么”。短片段只聚焦一个连贯镜头,别贪多。
first_frame模式必须明确:哪些元素动,哪些要锚定在原图构图上。
- 2. 再选生成模式:
| 需求 | 用 --action 选 | 附带参考图 |
|------|------------------|------------|
| 文本/多参考图生成 | reference_image | 0到9张 |
| 让首帧动起来 | first_frame | 必须1张 |
分辨率默认1080P,快速出初稿用720P;first_frame 的比例由源图决定,不用额外传 --ratio。
- 3. 执行并严格验证:调用
scripts/generate.js时用--json拿结构化结果,还要指定--output-dir存文件。用户给的参数要加引号,别并发发多个生成任务。只有当返回的success是true,且每个视频都有本地真实路径和正字节大小时,才算成功。要交代清楚动作、分辨率、比例(适用时)和时长;遇到error.retryable是true的错误再重试,主观想改风格的话,先等反馈,别直接烧下一次生成。
适用边界与注意点
- 它不是万能视频编辑器:不会补镜头、不拼接多段、不修改已有视频,只做单镜头生成。
- 环境变量
UNITYCLAW_KEY必须提前设好,依赖@unityclaw/sdk,自动安装声明会处理,手动跑的话可能要自己装。 - 不要把参考图当“可互换素材”,每个都要写清作用,不然模型会乱。
- 别试图同时跑多个生成任务,容易互相干扰。
- 时长时间固定3到15秒,比例支持5种(
16:99:161:14:33:4),first_frame不覆盖源图比例。 - 不要在提示词里写特效代码、不要上传超大图、不要把复杂剧情塞进单镜头,这些会偏离技能的设计目标。
使用场景
- 手握多张角色表情与场景氛围参考图,需要分别说明每张图的作用,生成一段风格统一的短视频镜头
- 已有首帧产品展示图,要明确标注主体保持不动、背景渐变,生成10秒的产品旋转展示视频
- 团队常因返回路径错误导致交付失败,需要在生成后校验每个视频文件的本地路径是否真实存在
- 需要先用720P快速生成3秒草稿确认动作连贯性,修改后再用1080P输出15秒最终版本
适合人员
- 短视频创作者:手上有多张角色和场景参考图,需要快速生成符合预期的单镜头视频草稿
- 动态分镜师:用首帧图生成动态预演,验证镜头运动和元素连续性是否合理
- AI视频工程师:要在CI流程中集成自动生成和本地文件校验,避免交付空文件或路径错误
- 独立游戏开发者:需要根据角色设计图生成短动作片段,减少手绘动画的工作量