技能介绍

问题背景

在写文本处理链路时，常见的麻烦是工具分散：分句分词、关键词、相似度、摘要、分类、聚类分别由不同脚本或库实现，参数、输出格式和预处理口径不一致，复现和调试成本很快上升。这个技能以传统 NLP 为主线，把一批常用处理步骤统一放到 MCP 工具层，让调用方不必为小规模文本流水线反复拼装多个库。

工作方式

核心是把常见 NLP 步骤组织成 MCP 工具。调用方传入文本和参数，服务完成对应算法并返回可解析的结构结果。典型能力包括：

文本预处理：分句分词、最大匹配法分词、语言检测、N-gram语言模型
特征与相似度：TF-IDF特征提取、余弦相似度、Jaccard、Levenshtein
关键词与搭配：TextRank关键词、PMI搭配提取
理解与生成：情感分析、实体提取、TextRank摘要、朴素贝叶斯分类、K-Means++聚类、马尔可夫文本生成、可读性评分

使用时建议先固定文本来源和编码，再执行分句、分词或语言检测，得到统一粒度的片段；随后按目标选择工具：特征和相似度适合比较分布或字面差异，关键词和搭配适合快速定位主题词，摘要和生成用于压缩或续写，分类与聚类则需要关注特征表示和结果解释。结果中应保留原文标识、参数和关键中间产物，方便复核。

适用边界与注意点

它更适合文本粒度明确、任务边界稳定的传统 NLP 场景，可作为原型验证、批量处理和轻量在线服务的执行层。算法集合偏向经典方法，不等价于微调模型或大模型；面对强歧义、跨域术语、复杂长文档或高精度实体识别，需要评估误差，并考虑补充词典、规则、外部模型或人工审核。Levenshtein 和 Jaccard 对字符串形式敏感；TF-IDF 与余弦相似度受分词和归一化影响；情感分析与可读性评分在通用语料上较稳定，用于专业领域时应先抽样检查。