技能介绍

解决什么问题

把一段短视频转成深度图、姿态图这类可视化素材，通常需要自己搭好 PyTorch、MediaPipe、FFmpeg 三套依赖，再写批处理脚本。不同模型对 Python 版本和计算后端的要求互相冲突——PyTorch MPS 要新 Python，MediaPipe 0.10+ 推荐 Task API 且对 Metal 上下文敏感。这个 skill 把整套流水线收敛成一个本地 Web 服务，拖拽上传后一键产出 5 种 AI 可视化效果。

工作原理

后端刻意拆成两个隔离环境：

Env-A（env_a/）：Python 3.13 venv，PyTorch 2.13 MPS 后端，承载 Depth-Anything-V2 和 KeypointRCNN 两个模型。
Env-B（env_b/）：Python 3.11 conda 环境，跑 MediaPipe FaceLandmarker（纯 CPU），通过子进程方式被 Env-A 调用。

单视频的处理顺序固定为：face（3.11 子进程）→ depth（MPS）→ pose（MPS）→ composite。前端是单页拖拽式 UI，服务起在 http://localhost:8787。

FFmpeg 用的是 bin/ 下 imageio-ffmpeg 捆绑的静态二进制（v7.1，ARM64），所以不用系统装 ffmpeg。面部检测模型 models/face_landmarker.task 只有 3.6MB，随项目携带。

适用边界与注意事项

模型权重首次运行要从 HuggingFace 拉取，国内环境必须设 HF_ENDPOINT=https://hf-mirror.com，且要用 env -u http_proxy -u https_proxy 清掉本机代理变量，否则 httpx 会走代理超时。
PYTHON_311_PATH / MEDIAPIPE_PYTHON 要指向 env_b 的 Python 3.11，PATH 需包含项目 bin/ 目录。
批量模式下面部处理曾出现 0% 卡死，原因是 MPS 模型加载后残留 GPU 内存与 MediaPipe 的 Metal 上下文冲突；当前代码已在子进程前调用 unload_models() + torch.mps.empty_cache()，缓存跳过路径也补了 progress_callback("done", ...)。如果仍然挂住，手动重启服务即可。
MediaPipe 0.10+ 已废弃 solutions API，必须用 Task API 加载本地 .task 文件，别写旧式代码。
enva 和 envb 是独立环境，任何一个损坏（比如 torch 升级后 MPS 不可用、conda 环境被清）都需要按项目说明重建。