中文文本处理工具集

要解决什么问题

在 Agent 里处理中文时，乱码往往比「不会写代码」更烦：Windows 默认 GBK、open() 没写 encoding、CSV 被 Excel 打开成问号、JSON 被 ensure_ascii=True 打成 \uXXXX、PDF 没注册字体导致中文空白。这类问题重复出现，却很少被写进通用 Python 教程的默认假设里。

本技能把编码规范和常见中文场景收成一套可照做的约定，让读写、导出、请求接口时有一致的 UTF-8 底线。

技能如何工作

编码规范（防乱码核心）贯穿所有操作：

• 文件读写始终指定 encoding="utf-8"
• CSV 使用 utf-8-sig，便于 Excel 识别表头与单元格中文
• JSON 使用 ensure_ascii=False，保留原始汉字而非转义序列
• Windows 控制台输出需显式处理编码，避免与系统默认 GBK 冲突
• 可先检测文件编码，再决定如何读取，减少误用错误编码二次破坏内容

常用处理场景在规范之上展开：中文分词、繁简转换、文本清洗；中文 PDF（须注册中文字体）、Excel 读写；以及网络请求返回的中文数据解析与落盘。目录结构按场景组织，便于在对话里按任务检索对应片段。

适用边界与注意点

1. 技能强调约定与示例，不是替代 jieba、opencc 等库的完整 API 文档；具体参数仍以你项目里选用的库为准。
2. PDF 生成必须注册中文字体，否则渲染层会显示空白——这是字体问题，不是 UTF-8 字符串本身错误。
3. 日志与管道若混用系统默认编码，仍可能出现乱码；建议统一 UTF-8 并在跨平台脚本里显式声明。
4. 对已是错误解码的「假 UTF-8」文本，需要先根据检测结果纠正编码，再谈分词或转换。