Apache Spark 性能调优与优化

要解决什么问题

Spark 作业跑得慢，通常不是单一原因。典型的症状包括：Shuffle 量过大导致网络与磁盘 I/O 飙升，数据倾斜让少数 task 拖住整个 job，序列化带来额外 CPU 开销，executor 内存配置不当引发 GC 压力和 spill，partition 数量与数据规模不匹配导致并行度不足。另一个隐蔽问题是资源浪费——对大表做 collect、滥用 UDF、过度 cache，都会在数据规模增长后集中爆发。

技能如何工作

该技能以一份生产级调优清单为核心，覆盖以下能力：

• 性能因素拆解：把慢作业的成因归纳为五类——Shuffle、Data Skew、Serialization、Memory、Partitions，并为每一类给出对应的解法方向，例如减少宽依赖转换、使用 salting 或 broadcast join 处理倾斜、用 Kryo 或列式格式降低 CPU 开销、调整 executor 内存、按 128MB–256MB/分区校准并行度。
• 关键实践对照：明确列出 Do's 与 Don'ts。推荐启用 AQE（自适应查询执行）、使用 Parquet/Delta 列式格式、对小表 broadcast、通过 Spark UI 监控倾斜/spill/GC；避免对大数据集 collect、不必要的 UDF、过度缓存，以及用 .count() 判断存在性（应改用 .take(1) 或 .isEmpty()）。
• 分层文档入口：顶层 SKILL.md 提供导航与速查，当概览信息不够时，深入模式与完整示例位于 references/details.md，按需查阅。

适用边界与注意点

调优手段需要结合具体集群版本与数据特征验证，配置改动前建议在测试环境回归。该技能不自动安装依赖、不修改系统权限、不创建持久化任务、不执行下载内容；涉及发送、发布、删除、付款、部署等外部写入操作时，会先展示目标与影响并取得确认。命令与代码默认仅作参考，凭据只用于指定服务且不回显、不记录。