Apache NiFi 自动同步
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_45f7c5ed/auto-nifi-1。
技能介绍
要解决什么问题
在 NiFi 1.14.0 里用 UI 拖流程不难,真正把整份流程模板导出成 XML 再改—尤其是超过 100KB 的大模板—时,处理器嵌套、processor / connection 的层级、以及 name/value 属性写法很容易搞错。更麻烦的是:在多个 UpdateAttribute、PutSQL、ReplaceText 之间批量改 EL 表达式、SQL 片段或动态属性名,用肉眼 diff 或分步试脚本,往往会在错误的作用域里改到上一个处理器的 <config>。
技能如何工作
这份技能把 NiFi 模板当成有强制约束的 XML 文档来编辑,而不是随意文本替换。它强调「先侦察,后处理,一次性验证」:先用脚本扫描全局,弄清缩进(模板层 8 空格、entry 4 空格)和 UUID 规范;再按处理器名称定位块,在 </processor> 之前、~</config> 范围内查找配置,避免全局 rfind 误命中。
核心能力包括:
- 熟悉常用处理器
type与 NAR(如InvokeHTTP、QueryDatabaseTable、ExecuteScript等)及各自配置习惯 - ReplaceText 生成 SQL、
PutSQL留空putsql-sql-statement从 flow file 读 SQL 等模式 - 仅对「表名和主键设置」类
UpdateAttribute做动态属性小写化,同时保留${now():format(...)}等 EL 不动 - 大文件用
re.sub或字符串替换做批量 SQL/属性替换,并一次写完完整验证脚本
适用边界与注意点
技能面向 NiFi 1.14.0 模板 XML,不替代集群运维或 NAR 部署。处理器必须用标准 processor 标签与 UUID;连接线用 connection 嵌套块。复杂改动应落成单个 Python .py 流水线,避免 python -c 与中文路径的编码问题,也不要用链式 Bash grep|sed 在大文件上硬啃。
使用场景
- 把存量 NiFi 1.14 流程 XML 里多处 PutSQL 改成从 flow file 读 SQL,需要按处理器名安全改 config
- 运维收到 200KB+ 模板,要批量把某 UpdateAttribute 里动态属性键改成小写且不动标准内置属性
- ReplaceText 生成入库 SQL 的流程要统一属性引用写法,${大写} 改 ${小写} 但保留 now() 等 EL
- 多处理器模板上线前要用单次验证脚本检查 UUID、缩进和 connection 嵌套是否符合 1.14.0
适合人员
- 负责数据同步流水线的集成工程师,经常要改导出模板里的 SQL 与属性而非只在画布上点选
- 维护 NiFi 1.14 集群的数据平台同学,需要把多套相似流程 XML 做批量属性与表达式调整
- 写 Python 做 ETL 改造的开发者,接到超大 template.xml 必须控 token 且不能改错处理器作用域
- 做 NiFi 流程评审的架构师,要核对手册里的处理器 type/NAR 与模板 XML 是否一致