CircleCI 不稳定测试检测

问题背景

在持续集成流水线中，有一种测试特别棘手——它们不是持续失败，而是偶尔通过、偶尔失败。这类测试被称为"不稳定测试"（flaky tests）。当 CircleCI 的构建历史中积累了足够多的运行记录后，人工翻阅每次构建的日志去找出这些反复横跳的用例几乎是不可能的任务。你可能需要查看数十次甚至上百次的运行结果，才能凭经验猜出哪些测试存在这种行为模式。

核心能力

这个技能通过查询 CircleCI Insights API 来自动化这一过程。它首先拉取最近若干次运行的测试结果数据，然后对每个测试用例在通过和失败之间的状态切换进行检测。检测完成后，技能会按失败率从高到低生成一个排名列表，让你快速定位最需要关注的不稳定用例。

隔离策略

针对检测出的不稳定测试，技能提供了针对不同测试框架的隔离方案：

• Jest：在 CI 配置中开启独立运行模式或使用重试机制
• pytest：通过 -p no:randomly 或调整 xdist 并行策略来减少环境干扰
• RSpec：利用 --tag 筛选或引入顺序随机化插件
• JUnit：检查测试间的共享状态和清理逻辑

适用边界

需要注意的是，Insights API 的数据覆盖范围受限于 CircleCI 的项目配置和数据保留策略。如果项目中启用了测试分片或自定义测试收集器，Insights 可能无法完整捕获所有用例的执行结果。此外，隔离策略属于工程建议而非自动修复脚本，实际落地时仍需结合项目自身的测试架构进行调整。