Forrester研究:DevOps质量指标最重要的什么?

我们开发和交付软件的方式已经发生了巨大的变化在过去五年我们使用的指标来衡188金宝搏官网登录app量质量在很大程度上仍是一样的。尽管地震业务预期的变化,开发方法,系统架构,和团队结构,大多数组织仍然依靠质量量度,被设计为一个不同的时代。

其他方面的应用程序交付审查和优化作为DevOps我们改变我们的过程。为什么不把质量量度在显微镜下吗?

指标是自动化测试,测试用例覆盖率,和通过/失败重要DevOps的上下文中,目标在哪里直接洞察给定候选版本是否有一个可接受的水平的风险?其他指标可以帮助我们确保稳定的更新不会破坏用户体验,我们努力工作来提高吗?

DevOps社区提供一个客观的视角最关键的质量指标是DevOps成功,Tricentis委托Forrester研究的主题。188金宝搏app苹果下载软件研究结果发表在一个新的55-page电子书,Forrester研究DevOps质量重要指标:75年共同Metrics-Ranked由行业专家。

对于每个类别的质量标准,我们想出了一个热地图使用与价值排名。例如,这里的热图是构建分类指标。

我们还为每个指标绘制数据到一个象限4部分:

• 增值:常用的度量DevOps专家和一贯性地作为有价值的组织措施。
• 隐藏的宝石:指标由DevOps专家不经常使用,但始终认为作为有价值的组织措施。
• 高估了:常用的指标DevOps专家,但不认为作为有价值的组织措施。
• 分散注意力:指标不经常使用DevOps专家,而不是认为作为有价值的组织措施。

例如,这里的象限是构建类别指标:

电子书同时提供热量地图和象限4类,快速浏览每一个75个指标,包括和整体分析,和一些有趣的列表。这是一个预览…

隐藏的宝石

以下指标通常不使用(甚至DevOps专家们),但极具价值的排名选择团队实际测量:

1. 新的缺陷(IT)
2. 关键缺陷(艘)
3. 自动化测试优先的风险(建立)
4. 代码覆盖率(建立)
5. 测试用例执行(建立)
6. 静态分析结果(建立)
7. 方差的百分比从基线测试用例通过了(E2E)
8. 发布准备(E2E)

顶级DevOps差异

DevOps专家/领袖测量以下指标明显超过DevOps落后:

1. 自动化测试优先的风险(建立)
2. 百分比的E2E自动化测试用例(E2E)
3. 风险保险(它)
4. 发布准备情况(阵线,E2E)
5. 测试效率(阵线,)
6. 需求被测试(构建、阵线,E2E)
7. 测试用例覆盖率(构建、E2E)
8. 静态分析结果(建立)
9. 方差的百分比从基线测试用例通过了(E2E)
10. 测试效果(阵线、IT、E2E)

所使用的大多数DevOps专家

以下指标最常用(整体)DevOps专家/领导:

1. 测试用例覆盖率(E2E)
2. 通过/失败率(艘)
3. API通过/失败率()
4. (E2E)执行的测试数
5. API缺陷密度(IT)
6. 需求被测试覆盖(艘)
7. 需求被测试覆盖(E2E)
8. 屏蔽的测试用例(艘)
9. 百分比的E2E自动化测试用例(E2E)
10. 构建成功的代码(构建)

DevOps专家最有价值

以下指标最高估值(整体)DevOps专家/领导:

1. 需求由API测试(IT)
2. 百分比的自动E2E测试(E2E)
3. 需求被测试覆盖(E2E)
4. 需求被测试覆盖(艘)
5. 数的关键功能缺陷(艘)
6. 测试中发现的缺陷总数(E2E)
7. 执行的测试用例数量(E2E)
8. 通过失败率(艘)
9. 新的API (IT)发现的缺陷
10. 自动化测试优先的风险(建立)

行业评论结果

主任文森特Lussenburg XebiaLabs DevOps策略,提供以下评论发现:

“我很高兴地看到,在调查中,释放准备DevOps成功被确定为一个关键指标。我们知道第一手发布准备是一个区分为我们的客户让他们让他们交付过程更有效率,降低风险,快速交付高质量的软件。188金宝搏官网登录app

DevOps平台集成了一个组织的现有工具,如Tricentis托斯卡和构建功能,帮助IT团队确保他们的版本是生产固体之前。188金宝搏app苹果下载软件例如,所有关键的测试运行和成功了吗?做测试失败的发生提供一个释放风险?环境问题修复,创建更持久的修复问题,根源记录?XebiaLabs这样的自动化检查所有的方式通过管道从各种角度和可视化释放风险,包括但不限于您的测试活动。我们甚至帮助你预测哪个版本最容易受到失败。”

(下载55-page DevOps质量量度电子书)。