Whisper 说话人识别后处理器

要解决的问题

OpenAI Whisper 能把会议音频转写为带时间戳的文本，但默认输出通常只有一条时间轴，不区分哪位说话人正在发言。当一份录音里有多人交替讲话时，这种输出难以直接用于会议纪要、访谈整理或按说话人检索的字幕。

技能如何工作

这个技能把 Whisper 的转写结果作为基础，再补上说话人识别与时间对齐：

• 保留 Whisper 生成的转写和基础时间信息；
• 使用 pyannote.audio 的 pipeline 对音频做说话人分割；
• 使用 speechbrain 提取说话人嵌入，帮助区分不同说话人；
• 结合 whisper-timestamped 提供的词级时间戳；
• 将词级时间轴与说话人分段对齐，生成适合多说话人会议的转录结果。

适用边界与注意点

• 适合需要区分说话人的会议、访谈、讨论等音频转写场景。
• 效果受音频质量影响：远场录音、口音差异、背景噪声、音乐、重叠语音都可能降低分割或对齐稳定性。
• 说话人数量越多、发言越短或音色越相似，错误分段的风险越高；必要时应人工校对。
• 上游在 Python 3.9.9 与 PyTorch 1.10.1 上训练和测试，代码预期兼容 Python 3.8–3.11 及较新 PyTorch；实际使用仍需验证当前环境的依赖与模型可用性。
• 需要系统安装 ffmpeg 命令行工具，以支持音频处理。