Agent Skills
返回列表
Apache NiFi 自动同步

Apache NiFi 自动同步

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_45f7c5ed/auto-nifi-1。

技能介绍

要解决什么问题

在 NiFi 1.14.0 里用 UI 拖流程不难,真正把整份流程模板导出成 XML 再改—尤其是超过 100KB 的大模板—时,处理器嵌套、processor / connection 的层级、以及 name/value 属性写法很容易搞错。更麻烦的是:在多个 UpdateAttribute、PutSQL、ReplaceText 之间批量改 EL 表达式、SQL 片段或动态属性名,用肉眼 diff 或分步试脚本,往往会在错误的作用域里改到上一个处理器的 <config>。

技能如何工作

这份技能把 NiFi 模板当成有强制约束的 XML 文档来编辑,而不是随意文本替换。它强调「先侦察,后处理,一次性验证」:先用脚本扫描全局,弄清缩进(模板层 8 空格、entry 4 空格)和 UUID 规范;再按处理器名称定位块,在 </processor> 之前、~</config> 范围内查找配置,避免全局 rfind 误命中。

核心能力包括:

  • 熟悉常用处理器 type 与 NAR(如 InvokeHTTP、QueryDatabaseTable、ExecuteScript 等)及各自配置习惯
  • ReplaceText 生成 SQL、PutSQL 留空 putsql-sql-statement 从 flow file 读 SQL 等模式
  • 仅对「表名和主键设置」类 UpdateAttribute 做动态属性小写化,同时保留 ${now():format(...)} 等 EL 不动
  • 大文件用 re.sub 或字符串替换做批量 SQL/属性替换,并一次写完完整验证脚本

适用边界与注意点

技能面向 NiFi 1.14.0 模板 XML,不替代集群运维或 NAR 部署。处理器必须用标准 processor 标签与 UUID;连接线用 connection 嵌套块。复杂改动应落成单个 Python .py 流水线,避免 python -c 与中文路径的编码问题,也不要用链式 Bash grep|sed 在大文件上硬啃。

使用场景

  • 把存量 NiFi 1.14 流程 XML 里多处 PutSQL 改成从 flow file 读 SQL,需要按处理器名安全改 config
  • 运维收到 200KB+ 模板,要批量把某 UpdateAttribute 里动态属性键改成小写且不动标准内置属性
  • ReplaceText 生成入库 SQL 的流程要统一属性引用写法,${大写} 改 ${小写} 但保留 now() 等 EL
  • 多处理器模板上线前要用单次验证脚本检查 UUID、缩进和 connection 嵌套是否符合 1.14.0

适合人员

  • 负责数据同步流水线的集成工程师,经常要改导出模板里的 SQL 与属性而非只在画布上点选
  • 维护 NiFi 1.14 集群的数据平台同学,需要把多套相似流程 XML 做批量属性与表达式调整
  • 写 Python 做 ETL 改造的开发者,接到超大 template.xml 必须控 token 且不能改错处理器作用域
  • 做 NiFi 流程评审的架构师,要核对手册里的处理器 type/NAR 与模板 XML 是否一致