中文脏数据清洗

问题从哪来

通用清洗脚本和英文向的 AI 提示，碰到中文业务表往往对不上号：地址没有逗号分段、姓名里有复姓、手机号带 +86 或横线、日期混用「2024年3月」和 24/3、身份证还要算校验位。本技能把这类格式层的脏数据拆成五个可操作的场景，而不是去做公安或运营商级别的实名校验。

技能怎么帮你落地

执行时会先摸清数据规模、字段类型和工具栈（Excel / pandas / SQL），用样本做脏度诊断，再按场景给出可跑的方案：

• 地址：基于民政部行政区划思路，从长到短匹配省市区，处理直辖市与港澳台边界，推荐 cpca 等实现
• 手机：去前缀与分隔符、归一化 11 位，按现行号段规则校验并识别运营商
• 姓名：维护复姓清单，区分单姓/复姓与少数民族 · 分隔等写法
• 日期：统一多种中英文与中文数字日期到可解析格式
• 身份证：18 位校验码与省、出生日、性别等字段提取，并强调脱敏

输出以可复制的代码片段或公式步骤为主，并附带自检清单（空值、超长、敏感字段是否脱敏、是否先备份）。

边界与注意

明确不做：反洗钱身份核验、手机号实名认证。涉及身份证号时须遵守个人信息保护要求，日志与库表避免明文存全号，不向用户回传「姓名 + 完整身份证号」组合。用户拿到可执行清洗逻辑且边界说明完整后，技能即结束；不主动做可视化、入库或下游分析。