文本编码检测器

要解决什么问题

在 Linux 服务器、旧项目归档或跨团队交接里，.txt、.csv、日志片段经常没有可靠的编码元数据。用默认 UTF-8 打开 GBK/GB2312 文件会出现乱码；反过来用错误解码器批量转换会把内容写坏。动手前需要先知道「这份文件实际是什么字节序列对应的字符集」。

技能如何工作

本技能面向文本文件的字符编码识别，实现为纯 Python，不依赖第三方库。核心能力包括：

• 识别常见中文相关编码：UTF-8（含/不含 BOM）、GBK、GB2312
• 识别 UTF-16 LE/BE、Latin-1 / ISO-8859-1
• 检测 BOM（Byte Order Mark） 并在结果中体现
• 输出时一并报告文件大小与判定编码

检测策略有明确顺序：优先尝试 UTF-8，再尝试 GBK；若均无法合理解码，则返回 UNKNOWN，避免在不确定时强行指定编码。

典型用法场景：修复乱码源文件、批量转码前的摸底、流水线处理前的编码校验。

适用边界与注意点

• 结果是启发式检测，不是文件系统或邮件头里声明的「官方编码」；对混合编码、损坏字节或极短样本，可能得到 UNKNOWN 或误判。
• 仅覆盖 SKILL 中列出的编码族；未列出的本地码页需另寻方案。
• 检测成功不等于转码安全：转码前仍建议抽样人工确认，尤其是含罕见汉字或二进制混入的文本。