淘火车 Mask2Former

要解决什么问题

通用图像分割往往要在全景、实例和语义三种任务形态之间切换，Mask2Former 用带 masked attention 的 Transformer 做统一建模，但落地到训练、评估、导出和 TensorRT 仍需要与 TAO 规格、数据集目录和检查点链路对齐。本技能把 Mask2Former 封装为 TAO「火车」工作流：用 schemas/ 与 references/spec_template_*.yaml 约束各操作，并说明 Swin 预训练权重应写在 model.backbone.pretrained_weights。

技能如何工作

• 数据与指标：任务类型为分割；常见格式为 coco_panoptic、coco；训练监控以 mIoU 为主。各操作（train / evaluate / inference / export / quantize）都要求按表构建 spec_overrides 中的数据源路径（如 images.tar.gz、annotations.json、annotations_panoptic.json 等）。
• 训练与 AutoML：模型层默认开启 AutoML（automl_policy: on）。在 schema 与 spec_template_train.yaml 齐备时，训练请求走 tao-skill-bank:tao-run-automl；用户若明确「关闭 AutoML」「无 HPO」等，则本次运行视为 automl_policy: off，走直接训练。
• 推理与部署：evaluate、inference、export 等非训练操作仍在本技能内完成。TensorRT 相关（gen_trt_engine、TRT evaluate/inference）需先读 references/tao-deploy-mask2former.md，部署模板使用 spec_template_deploy_*.yaml 前缀。
• 关键参数：model.mode 默认 panoptic；model.sem_seg_head.num_classes 须与标注类别一致；dataset.contigious_id 与类别 id 策略会影响 num_classes（COCO panoptic 样例常见 raw-id 验证用 201）。

适用边界与注意点

Mask2Former 显存占用高，默认 dataset.train.batch_size 为 1 较合理；OOM 时可降分辨率或换更小 Swin 变体（model.backbone.swin.type）。多 GPU 通过 Lightning 启动，支持 DDP/FSDP。导出/TRT 不支持 INT8；部署规格勿在顶级写 dataset.type，应使用 dataset.val.type / dataset.test.type。导出验证建议保持与模板一致的输入尺寸（如 960×544），过小分辨率可能触发 ONNX 形状推断失败。