音色语音工作台
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_dca6a55a/sound-skill。
技能介绍
要解决什么问题
做配音、转写或音色素材时,常见痛点是:从长视频里抠不出干净的参考段、克隆长文稿要手工拆段拼接、转写既要字级时间戳又要说话人标签,还得在 FunASR 与在线 API 之间切换。Sound Skill 把这套流程收成一组斜杠指令,模型在本地进程内通过 mlx_audio 加载,长任务可用 /sound-jobs 查进度。
技能如何工作
/sound-design(/sd):用 VoxCPM2-bf16 按自然语言描述生成音色,WAV 写入全局库~/.sound-skill/voices。/sound-extract(/se):ffmpeg抽音轨后按 RMS、ZCR、频谱质心与静音边界打分,截取约 20–30 秒最佳片段并入库。/sound-clone(/sc):IndexTTS-2 零样本克隆;长文本默认--split auto智能拆段、逐段合成再拼接,支持四种emo-method情感控制。/sound-asr(/sa):先转 16kHz mono,再按引擎转写——funasr(Fun-ASR-Nano)、qwen、或hybrid(MiMo 在线 + 本地 Qwen3 对齐);可选--speaker走 FunASR/CAM++。对齐覆盖率须 100%,失败会重切而非假成功。/sound-library、/sound-asr-engine:管音色库与默认 ASR 引擎。
适用边界与注意点
IndexTTS-2 不做直接的 voice conversion;若要把已有语音换音色,需先 /sound-asr 出文本再 /sound-clone 重合成。hybrid 模式依赖环境变量 MIMO_API_KEY。Apple Silicon 上 Fun-ASR 优先 MPS,VoxCPM2/Qwen 走 MLX;Windows 上 Fun-ASR 主要为 CPU。路径与引擎可在 config.yaml 调整。
使用场景
- 从访谈录像里自动截取 20~30 秒人声片段,作为 IndexTTS-2 克隆参考并写入音色库
- 把整本解说稿用 `/sound-clone` 智能拆段配音,再合成一条完整 WAV 并保留 manifest
- 会议录音需字级时间戳与说话人分离时,用 FunASR 引擎跑 `/sound-asr` 并校验对齐覆盖率
- 无参考音频时,用自然语言描述通过 VoxCPM2 设计新音色并登记到全局库供后续配音复用
适合人员
- 短视频解说作者:需要固定旁白音色,从素材料出参考段并对长文案批量克隆配音
- 播客后期:要把多轨或长录音转成带时间戳文稿,并按段落或字符粒度导出 JSON
- 独立游戏/动画开发者:在 Apple Silicon 本机完成音色设计与英文/中文配音试水,避免外置 HTTP 服务
- 本地化工程师:在 funasr 与 hybrid(MiMo+Qwen 对齐)之间切换引擎,对照同一批素材比较转写质量