中文文本统计
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-cn-text-statistics。
技能介绍
你在处理什么场景
写稿、做语料清洗或对比多份文案时,往往需要快速拿到字符数、行数和词频等基础指标,而不是在 REPL 里零散地写几行 len() 和 split()。中文场景下还要区分「字符」与「词」的统计口径,手工拼脚本容易重复且口径不一致。
技能做什么
cn-text-statistics 面向中文及通用文本的细粒度统计:在仅依赖 Python 标准库的前提下,汇总文本的字符、词频、行数等信息,便于在数据分析流程里做可读性检查、重复用词排查或篇幅控制。
典型用法思路:
- 将待分析文本作为输入,由技能按约定维度输出统计结果
- 关注词频时可快速发现高频词是否偏离预期
- 结合行数、字符数可做长度与结构层面的对比
适用边界
- 定位为轻量统计,不提供分词模型、情感分析或可视化报表;复杂 NLP 需另接专用库
- 统计口径以技能实现为准;中英文混排时建议在同一批样本内保持输入格式一致,避免横向对比失真
- 大文件或流式场景需自行评估内存与调用方式,技能侧未强调批处理或增量接口
使用场景
- 整理公众号或品牌文案草稿时,需要统计总字数、行数并列出高频词,检查是否重复堆砌同一卖点
- 从爬虫或导出文件得到纯文本语料后,在入库前快速统计字符规模与词频分布,筛出异常短句或空白行过多的样本
- 对比两版 SEO 落地页正文时,用同一口径统计字符数与关键词出现次数,避免手工数词口径不一致
- 写技术文档或 API 说明时,核对章节行数与段落长度,确保各节篇幅相对均衡
适合人员
- 负责品牌内容投放、需在定稿前用词频核对是否过度重复核心关键词的内容运营
- 维护中文语料库或训练数据 pipeline,要在不写第三方 NLP 依赖的前提下做基础体量与词频抽检的数据工程师
- 做 AISO 或搜索文案 A/B 测试,需要快速对比多版正文字符数与关键短语出现次数的 SEO 从业者
- 撰写长文教程或白皮书,需要按章节统计行数与篇幅以控制结构的技术写作者