文本内容检测
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-1qazsc77/text-moderation 到当前 AI 助手。
技能介绍
要解决的问题
UGC、审核系统和自动化流程里,文本不会永远温和无害。用户昵称、评论区、私信、活动文案都可能夹带涉政、色情、违法违规、暴恐或广告引流内容;如果等人工巡到再处理,代价已经发生。
这个技能面向“先拦截,再决定”的场景:当输入文本进入应用、LLM 对话或业务流程时,需要用一次轻量检测判断它是否触碰风险边界,并拿到足够定位问题的信息。它只覆盖文本内容检测接口,不做图片、音视频或多模态审核。
核心能力与工作方式
- 风险类别识别:对输入文本做智能检测,覆盖涉政、色情、违法违规、暴恐、广告等风险内容。
- 结构化结果:返回违规标签、命中关键词和相关信息,便于调用方做拦截、复核或审计。
- 性能边界:单次检测文本不超过
1万字,说明中强调毫秒级响应。
使用时不需要自己拼 HTTP 请求。用户先在文本内容检测购买页注册登录并获取专属 API Key,新用户有 0元/5次 调试额度;之后把 Key 和待检测文本直接交给 AI 即可。AI 会从请求里提取 content,可选传入 extra 透传字段和 contentId,再在 Skill 根目录调用本地脚本;若环境已配置 CHINAZ_TEXT_MODERATION_API_KEY,可省略 --api-key,系统里若 python 命令不存在就用 python3。
拿到脚本输出后,AI 只依据实际返回回答用户,不编造数据。成功响应的 code 为 200,核心结果在 moderationResult 数组里:每条结果包含机器建议 machineSuggestion(1=正常、2=疑似、3=拦截)、一级/二级违规标签,以及 matchedList 中命中的关键词和关键词标签。
适用边界与注意点
- 一次只查询一个目标;批量任务必须逐条执行。
- 结果仅供参考,不具有法律效应。
- 不要把 API Key 输出、复述或保存;查询失败且提示额度不足时,应引导用户前往购买页检查 Key 或额度。
- 内部接口地址、参数格式和 JSON 字段名属于执行参考,面向用户时不需要展示技术细节。
使用场景
- 用户收到用户提交的评论文本,需要快速检测是否包含涉政或广告内容,以便决定是否放行展示
- 产品团队分析用户生成的活动文案风险情况,需要获取违规标签和命中关键词,用于优化内容规范
- 审核团队需要逐条检测多个用户提交的私信文本,排查涉暴恐风险内容,确保合规
- 开发者在接入文本审核流程时,需要验证单次1万字内的文本检测结果是否符合业务拦截标准
适合人员
- 内容审核员:每天需要处理大量用户提交的文本内容,需要快速检测风险并定位违规信息
- 产品运营人员:负责优化用户生成内容的规范,需要获取风险标签和关键词数据以调整审核策略
- 后端开发者:正在为应用接入文本审核功能,需要验证单次检测的文本长度限制和结果准确性
- 合规专员:需要排查用户私信中的违规内容,确保符合平台合规要求,需要逐条检测文本风险