Unicode 字符详情查询
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-cn-unicode-info。
技能介绍
要解决什么问题
在处理日志、爬虫结果或用户输入时,你经常会碰到「看不懂的符号」:乱码片段里的单个字符、复制粘贴带来的不可见控制符、或是 emoji 与 CJK 混排时的边界问题。仅凭肉眼或 ord() 只能得到数字,缺少 Unicode 官方名称 与 General Category(如 Lo 表意文字、So 符号等),很难判断该字符是否合法、是否该过滤,或在编码转换里该按哪种规则处理。
技能如何工作
本技能面向「任意一个字符」做结构化查询,输出通常包括:
- 码点:以十六进制形式展示(便于与文档、字体工具对照)
- 字符名称:Unicode Character Database 中的标准名称
- 类别:Letter、Number、Punctuation 等高层分类,便于写规则或做文本分析
实现侧强调 纯 Python、无外部依赖,适合在受限环境或快速脚本里直接调用,而不必再拉一整套 ICU 或第三方 Unicode 库。
适用边界
它解决的是「单字符属性查询」,不是全文编码检测、不是字体渲染问题,也不能替代完整的 Unicode 规范化(NFC/NFKD)流水线。若你需要批量统计、分词或复杂脚本(如阿拉伯文连写),仍应结合专门的文本处理库;本技能更适合作为 调试与取证 时的轻量查表工具。
使用场景
- 接口返回乱码字符串时,对可疑单字符查码点与 General Category,判断是控制符还是标点再决定清洗规则
- 用户昵称或评论里出现陌生 emoji,需要对照官方名称与码点,确认是否应纳入敏感词或展示白名单
- 爬虫入库前发现字段含不可见字符,逐字查询类别以区分零宽空格与普通空格导致的匹配失败
- 编写文本过滤脚本时,需要把某个具体字符的 Unicode 属性写进文档或单元测试断言
适合人员
- 负责线上日志与接口联调的后端工程师,需要在 UTF-8/编码异常里快速定性单个异常字符
- 处理多语言爬虫或用户生成内容的数据工程师,要在入库前核对 CJK、emoji 与特殊符号的属性
- 做输入法、昵称或 UGC 校验的国际化工程师,需要依据 Unicode 名称与类别设计合法字符策略
- 写内容安全或 XSS 防护规则的安全工程师,要把具体码点与类别写进黑白名单说明