Agent Skills
返回列表
💻

自然语言处理工程指南

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/aj-geddes-useful-ai-prompts-natural-language-processing。

技能介绍

你要解决什么问题

文本管线往往卡在「任务选哪类模型、预处理做到哪一步、微调还是直接用预训练权重」这几件事上。评论归类、工单意图识别、合同或简历里的实体抽取、多语言摘要与问答,都需要在同一套任务划分里对齐模型库(DistilBERT、spaCy、MarianMT 等)和交付物(指标、推理 API、可视化)。

技能如何帮你落地

本技能按 NLP 核心任务 组织:文本分类(情感、主题、意图)、命名实体识别、机器翻译、文本摘要、问答 与 文本生成。在实现侧会指向常用栈:Transformers(BERT、GPT、RoBERTa、T5)、spaCy 工业流水线、NLTK、Hugging Face 预训练模型,以及 PyTorch/TensorFlow。

Python 侧按任务映射到常见模型选型,例如分类用 DistilBERT/RoBERTa/ELECTRA,NER 用 BioBERT、SciBERT 或 spaCy,翻译用 MarianMT、M2M-100,摘要用 BART、Pegasus、T5,问答用 BERT、RoBERTa、DeBERTa。文本预处理流水线按顺序覆盖:小写与清洗、tokenization、去停用词、词形还原/词干化、向量化。

最佳实践强调:优先用预训练模型、在任务数据上微调、处理 OOV、批量推理,并留意模型偏见。交付物包括训练好的模型、分类结果、抽取实体、性能指标、可视化看板与推理 API。

适用边界

内容偏 工程选型与任务分解,不替代你自己准备标注数据、搭建训练环境与合规审计。极轻量脚本或零依赖原型若不需要 transformer 生态,可能只需其中预处理或库选型小节。

使用场景

  • 用 DistilBERT 或 RoBERTa 对客服工单做意图与情感分类,并输出可用于线上路由的标签与指标
  • 从合同、简历等非结构化文本中抽取人名、地名、机构等实体,对接下游结构化存储
  • 在已有文档库上搭建 BERT/RoBERTa 问答链路,让用户用自然语言检索段落级答案
  • 对多语言长文用 MarianMT 翻译并结合 BART/T5 做摘要,服务于报告或邮件要点提炼

适合人员

  • 负责评论/工单分类的 ML 工程师,需要把情感、主题、意图任务对齐到具体预训练模型与微调流程
  • 信息抽取方向的数据工程师,要在领域文本上选型 BioBERT、SciBERT 或 spaCy 做 NER 并交付实体列表
  • 对话或检索产品的后端开发,要落地问答、摘要或翻译 API,并关心批量推理与偏见监控
  • 用 PyTorch/TensorFlow 做 NLP 实验的研究助理,需要一份从预处理到交付物的任务—模型对照表