测试失败的优先级和疗愈
目标:自动识别并解决测试失败不表明被测试应用的一个问题
每天早上,开发人员和测试人员抓住他们的咖啡,开始凿掉晚间回归测试的测试失败报告。即使有稳定的测试用例,测试失败的数量成指数增加,测试自动化率,测试运行频率,并行系统的复杂性都是上升的。
测试失败可能是一个信号,表明最新的应用程序更改了关键业务功能…也可能源于其他一些问题。例如,依赖系统(例如,一个第三方应用程序或API)可能暂时不可用,坏了,左右缓慢导致测试时间。一个模拟测试环境可能不可用或正常。或者,测试数据准备过程可能是喂养测试过期或不适当的数据。
诊断一个测试失败的根源可以从几分钟到几小时。考虑到广泛的回归测试套件可以很容易地产生向上的500测试失败,简化诊断过程可以产生显著的生产率增长。
