Agent Skills
返回列表
📊

数据采集·资源转换·结构化处理

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_2fd890c9/agent-resources。

技能介绍

要解决什么问题

分散在网页、日志文件和粘贴文本里的内容,往往格式各异:HTML 里夹着脚本和导航,导出文件编码不统一,多行文本也没有固定字段。如果你只是偶尔扒一条文章还好,一旦要批量抓链接、按行拆日志或让下游 Agent 吃固定 schema 的 JSON,就会堆大量胶水代码,还容易在失败条目上静默丢数据。

技能如何工作

agent-resources 走的是「识别输入类型 → 获取 → 清洗 → 序列化」的标准管线。

  • URL:HTTP GET(默认 10 秒超时),从页面正文区域抽文本,去掉 script/style,再按段落标签拆成数组。
  • 文件:校验路径与可读性,按指定编码(默认 UTF-8)读入,用换行符切成行数组。
  • 原始文本:直接按换行拆记录,并 strip 行首尾空白。

清洗阶段会去掉空行与纯空白行,再按 output_format 输出 JSON(默认 {"data": [...]})、CSV 或纯文本。批量场景单次建议不超过 5 条;部分失败会进 skipped 并注明原因,而不是悄悄丢掉。

参数上可通过 input_type(url/file/text/auto)、encoding、batch_size 等控制行为;字段映射不清楚时,会用 [需核实:field_name] 一类占位,避免编造内容。

边界与注意点

本技能只读、只转换:不写盘、不推 API、不处理图片音视频等二进制。需要登录、付费墙或 robots 限制的 URL 无法保证抓取。不做摘要、翻译等语义理解;源数据缺了,输出也会缺。复杂页面的广告/导航若默认清洗不够,仍需你二次处理。

使用场景

  • 竞品监测里有一批公开文章链接,需要按段落拉正文并统一成 JSON 供对比脚本消费
  • 运维把多台机器导出的 `.txt` 日志交给分析流程,要求按行拆成记录且编码为 UTF-8
  • Agent 流水线需要把用户粘贴的多行工单描述拆成数组,再映射到 `title` 与 `content` 字段
  • 报表预处理阶段要把 5 个以内的 URL 一次抓完,失败条目单独列出原因而不是混入结果

适合人员

  • 需要每周从若干公开网页抽正文、再写入内部分析库的数据分析师
  • 负责把应用与网关日志按行规范化后交给告警或统计管道的后端开发
  • 在 Agent 里做输入标准化、先要验证 JSON/CSV 结构是否正确的 AI 应用开发者
  • 运营同学周期性处理导出文本或多链接素材,但不想为每种来源单独写抓取脚本