AI 漫剧自动生成

解决的问题

把一句故事梗概变成一段能看的漫画短剧，难点不在“生成一张图”，而在前后环节互相脱节：脚本没有数据契约，画面风格随场景漂移，配音按字幕片段单独请求导致语速和停顿异常，成片阶段又容易出现视频无声、时长漂移或把旁白压在背景音乐下听不清。手工把这些工具串起来，需要反复处理密钥、manifest 和重试状态，失败一次就很难恢复到可继续的状态。

工作方式

• 预检与输入：先跑环境检查，只选择本次运行需要的 provider；--bgm 只在用户明确要求时使用。必填项是故事主题或一句话前提，其余如风格参考图、旁白性别/语气/语言、字幕长度、音乐、受众与禁忌内容都有默认值。不要询问目标时长或场景数，默认字幕每行 24 字符、无 BGM、故事自然收束，并创建独立项目目录脚手架。
• 脚本阶段：任何媒体生成之前先写 story.json，以 references/story.schema.json 作为数据契约。构建完整的起承转合，按真实视觉节拍切场景，让同一画面能支撑的连续旁白留在同场景；每个场景只定义一个差异化 image_prompt 和若干完整旁白条目，每个条目对应一条显示字幕。角色只在 characters 中定义一次，外观和服装写具体。随后立即校验并向用户展示完整脚本，逐场景列出 scene ID/标题、画面提示和逐字旁白，不能只给大纲或片段；approvals.story 保持 pending，直到明确批准。
• 画面阶段：不把上一场景图串到下一场景。先按需生成视觉锚点和角色表，再逐场景生成图片，最后一次性提交整套画面验收。调度器调用已安装的 imagegen CLI，模型固定为 gpt-image-2，有参考图时一律走 edits 端点，把风格参考放在首位、相关角色表随后，不传 input_fidelity。生成图里不出现文字、字幕、气泡、水印、分格或拼贴；单个失败场景最多重试三次，完成后写入 build/image-manifest.json 以便断点续跑。
• 音频阶段：旁白 provider 为 xiaomi_mimo 时，凭据只放在环境变量，通过 POST /v1/chat/completions 调用，旁白文本在 assistant 消息中。为每个已批准场景生成一条连续 WAV，而不是把每条短字幕单独请求 TTS；场景之间用 audio.scene_gap_seconds 衔接，速度只施加到整条 master track，再把短字幕对齐到检测到的句中停顿，并检查 build/audio-alignment.json。本地 Kokoro 回退或用户明确要求旧式字幕级 TTS 时才用 generate_audio.py。只有用户显式开启 BGM 才用本地 MusicGen 生成纯器乐，音量控制在旁白之下，上限 0.35、默认 0.14；不生成音效。
• 合成与渲染：构建 HyperFrames 合成，保留 audio-manifest.json.master_audio，不重造已批准的全局加速 master；画面层只保留一张 object-fit: cover 的全幅 16:9 场景图和底部一条完整句子字幕。转场使用 0.5 秒 crossfade，配合焦点裁切保护和缓慢缩放，不添加标题、卡片、UI、logo 或装饰。渲染前跑完质量门禁，用 npx hyperframes inspect --samples 30 抽查密集字幕，并确认最终 MP4 只有一条 1920x1080 30 fps 视频流和一条音频流、时长不漂移。

适用边界

• 场景数和总时长由故事本身决定，600 场景和 900 秒只是容量上限；不要用凑场景的方式换取所谓目标时长。
• 批准必须来自用户明确动作，沉默不算批准。脚本批准后若改旁白，只有视角、措辞和字幕切分可以不重新审图；改变地点、任务、动作、可见物件、角色、年龄或时间时，需要重新审图并可能重新生成。
• JSON 校验失败、缺少批准、缺少参考素材或时间线超过 900 秒时停止，不要用占位图、缺旁白或该开 BGM 却无声渲染。不要静默更换模型、风格参考、旁白或已批准的故事内容。
• 生产旁白不要开启 voice-preview 优化，也不要对短字幕单独 atempo；silenceremove 一类内部停顿压缩在场景级路径上禁用。最终 MP4 必须经 ffprobe 确认音视频流均存在才算完成。