Agent Skills
返回列表
🔒

Apache Spark 作业管理器

IT 运维与安全 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/apache-spark-job-manager。

技能介绍

要解决的问题

Spark 作业的生命周期并不总是直观的：环境变量没配对、依赖缺失、交互式 shell 起不来、示例程序跑出来的结果和文档对不上，这些是日常排查里最耗时的部分。Apache Spark 作业管理器 把这类琐碎但关键的环节收拢到一份技能说明里，让使用者不必每次从零翻文档。

核心能力与工作方式

  • 环境前置检查：明确依赖 Java、Scala、Python，在动手前先确认运行时是否齐全。
  • 安装与注意事项：汇总上游要求，提示哪些高级 API 在 Scala、Java、Python、R 中已被标记为 deprecated，以及优化引擎相关的注意点。
  • 交互式 Python Shell：如果你更习惯 Python，技能提供了交互式 Python Shell 的入口，适合做数据处理验证。
  • 示例程序：包含入门示例，构建后运行命令应返回 1,000,000,000，可作为环境是否就绪的快速校验。
  • 官方文档索引：内容提取自上游文档，并指向 spark.apache.org/docs/latest/，便于深入查阅。

适用边界与注意点

  • 该技能聚焦于上手引导与环境校验，不替代 Spark 的集群调度、资源调优或生产级运维能力。
  • 文档中提到的 deprecated API 部分，建议在新代码里避开，优先使用当前推荐接口。
  • 示例程序的结果依赖环境配置正确；若数值不符，先按前置条件逐项排查。

使用场景

  • 刚接手Spark集群，需要核对Java、Scala、Python环境并跑通入门示例，验证返回结果是否为10亿。
  • 习惯用Python做数据处理，想在本地启动交互式Python Shell，快速验证一段ETL逻辑。
  • 重构旧版Spark代码时，需要查阅文档中哪些Scala或Python高级API已被弃用，避免使用过时接口。
  • 准备给团队做Spark上手培训，需要一份包含环境前置条件和示例程序运行步骤的标准化参考。

适合人员

  • 刚接手Spark集群的运维工程师，需要快速核对Java、Scala、Python环境并跑通入门示例。
  • 习惯用Python做数据处理的数据分析师，想在本地启动交互式Python Shell验证ETL逻辑。
  • 重构旧版Spark代码的开发工程师，需要查阅文档确认哪些高级API已被弃用以避免误用。
  • 负责团队技术培训的Spark架构师，需要一份包含前置条件和示例步骤的标准化上手资料。