64测试指标测量质量保证成功至关重要

188金宝搏官网登录app软件测试度量的方法测量和监控你的测试活动。更重要的是,他们给洞察你的团队的测试进展,生产力和被测系统的质量。当我们问自己“我们测试什么?”指标会给我们更好的回答只是“我们已经测试了它”。不同的团队测量各个方面取决于他们想跟踪和控制或改善。

指标通常传达结果或一个基于预测数据的组合。

结果指标:标准,大多是绝对衡量活动/过程的完成。

例子:时间运行一组测试用例套件

预测指标:指标衍生品和作为早期征兆的不利结果。

例子:缺陷与创建图表显示缺陷修复的速度解决。抓住团队的注意力,如果这个比率是低于所需的速度。

为什么测试指标?你为什么要在乎?

收集的目的测试指标是使用数据改善测试过程,而不是仅仅显示的报告。这包括寻找切实的问题的答案:

• 要多长时间来测试?
• 需要测试多少钱?
• 多么糟糕的错误吗?
• 有多少错误发现固定吗?重新开放吗?关闭?延期吗?
• 测试团队没有发现了多少错误?
• 软件测试的多少?188金宝搏官网登录app
• 测试将按时完成吗?该软件可以准时出188金宝搏官网登录app货吗?
• 好是如何测试?我们使用低价值的测试用例吗?
• 测试的成本是什么?
• 测试工作是足够的吗?我们可以在这个版本适合更多的测试吗?

好这些问题的答案需要测量。这篇文章包括64绝对的导数,结果,和预测指标测试和QA经理最常用。

基本指标

作为一个测试人员,你的度量创建之路开始的地方。基本质量保证指标绝对数字的组合,可以用于生产衍生指标。

绝对数字

1. 测试用例总数
2. 测试用例通过了
3. 数量的测试用例失败
4. 数量的测试用例了
5. 发现的缺陷数量
6. 接受的缺陷数
7. 拒绝的缺陷数
8. 递延的缺陷数
9. 重要的缺陷数量
10. 计划测试时间
11. 实际的测试时间
12. 航运后发现的缺陷数量

导数指标

绝对数字是一个伟大的起点,但他们通常是不够的。

举个例子,如果你报告下网格,这可能不足以理解如果我们如期完成,或什么结果我们应该考虑每一天。

	第一天	第二天	第三天
结果完成了	35	40	45

在这种情况下,绝对数字产生的问题多于答案。衍生指标的帮助下,我们可以深入研究回答解决问题在我们的测试过程。

测试追踪和效率

以下是援助的派生指标测试跟踪和效率:

13。
14。
15。
16。
17所示。
18岁。
19所示。
20.
21。

测试工作

测试工作指标会回答问题:“多长时间、多少和多少钱?“这些指标是伟大的为未来的测试计划建立基线。不过,您需要记住,这些指标是平均水平。值的一半摔倒的平均半下。

的一些具体措施是:

22。
23。
24。
25。
26岁。
27。

测试效果

测试有效性的回答,“好是如何测试?”或“我们运行高值的测试用例吗?“这是一个衡量的错误查找能力和质量测试。测试有效性指标通常显示一个百分比值之间差别的测试团队所发现的缺陷的数量,和整体软件发现的缺陷。188金宝搏官网登录app

28。基于指标:测试有效性使用缺陷控制效率

测试效率比例越高,更好的测试集和较小的测试用例维护工作将在长期的。

例子:如果释放测试效率是80%,这意味着20%的缺陷得到了远离测试团队。

• 这个数字应该导致调查、反省和纠正措施改善测试集上的缺陷识别速率测试集。
• 测试效果不可能100%。所以,团队应该追求更高的价值,应该不会失望,如果它不是一个100。
• 平均效率率释放将显示如果努力测试集改进是否给予积极的结果。

29。基于上下文:使用团队评估测试的有效性

使用缺陷控制效率指标可能不工作时:

• 产品已经成熟
• 产品是不稳定和车
• 没有足够的测试时间/资源约束

在这种情况下,我们需要另一种方法来衡量测试集意见或基于上下文的有效性。

你可以问你的团队对测试集的多好。在你这样做之前,重要的是要告诉你的团队是无偏和定义一套好的测试意味着什么。例如,您的团队可以决定,一套好的测试应该覆盖需求充分风险很高。是现实的,专注于应用程序的最重要领域。

团队还可以使用一个主观的扩展方法。100%的评级(1到10的规模),问你的团队给的分数测试集是如何完成,到目前为止,今天的测试集是有效的。得到一个平均的分数让团队的平均测试有效性。讨论测试是好的和坏的主题专家的角度来看,是一个有意义的锻炼在缩小您的测试重点。

是重要的事情要告诉你的团队无偏和定义一套好的测试意味着什么。

测试覆盖率

188金宝搏官网登录app软件质量度量计测试下的应用程序的健康状况。不可避免的是,下一个核心指标,你要分析围绕覆盖。测试覆盖度量测量测试工作并帮助回答,“应用程序测试多少?”

例如,“这些测试通过或失败,是我的应用程序的构件或地区是什么,他们是为了确保我生产的产品是高质量的。188金宝搏官网app注册“以下是一些关键测试覆盖率指标。

30.

• 这给了我们一个想法总测试的执行而优秀的测试运行。它通常表示为一个百分比值。

31日。

• 得到一个高水平的看法有什么需求测试覆盖率,您只需要覆盖需求的数量除以总数范围要求一个冲刺,释放或项目。
• 这将通常只显示如果有相关的测试,而不是显示测试运行的结果。

32。测试用例的需求

• 最常见的方式,看看功能正在测试,看看我们有多少测试与用户故事或要求。

要求的事情	TC的名字	测试结果
要求1	TC Name1	通过
要求2	TC Name2	失败的
要求3	TC Name3	不完整的

33。缺陷/需求(需求缺陷密度)

• 缺陷密度/需求有助于揭示哪些需求是比其他人更危险。例如,测试用例可能会好,但要求可能是什么导致了所有的问题。

要求的名字	总#的缺陷
申请一个	25
申请B	2

34。需求没有测试覆盖率

• 重要的是要知道你准备将一个需求推向生产与适当的测试覆盖率。
• 这表明哪些需求没有测试覆盖率和在什么阶段的要求。例如,要求是在“完成”状态风险高于要求在“做”的地位。

请求ID	要求的名字	申请状态
REQ001	申请一个	要做
REQ002	申请B	完成

即使一个更高的测试覆盖率%和图表可以增强信心在你的测试工作,这是一个相对的价值。就像我们不能找出所有的缺陷,我们就无法创造足够的测试达到100%的测试覆盖率。这不是一个测试人员限制,而是由于现实,所有的系统都是释放。有无数测试当我们考虑,功能,和端到端测试。因此,最好定义到底将会成为100%的测试覆盖率测试库存有限。

测试经济指标

人(时间)、基础设施和工具提供对测试的成本。测试项目没有无限的货币资源消费。因此,重要的是要知道你打算花多少钱,你会花多少钱。以下是一些测试的经济指标,可以帮助你的当前和未来的预算计划。

35。分配的总成本进行测试

• cio和QA董事预算的金额为所有的测试活动和资源单一项目或者一整年

36。实际成本的测试

• 实际的美元,进入测试
• 计算成本的一个方法是测量的成本每要求测试,每个测试用例或测试每小时。

例如,如果你的预算是1000美元,包括测试100要求,测试的成本要求是1000/100 = 10美元。100小时每小时测试,成本1000美元意味着为每小时10美元。这当然假设所有需求在复杂性和可测试性是平等的。

这些数字是重要的基线和帮助估计未来的预算项目。

37岁。预算差异

• 实际成本和计划成本之间的差异

38。进度偏差

• 实际时间完成测试的区别与计划timeIf实际成本小于分配预算(负差异),它为项目来说是个好消息。然而,这也意味着,估计是不正确的。方差的零是首选。

39岁。每bug修复成本

• 这是计算的金额的努力花在每个开发人员一个缺陷
• 如果开发人员花了10个小时修复一个错误和开发人员的每小时工资率是60美元,然后bug修复的成本是10 * 60美元= 600美元。
• 有些团队也考虑重新测试的成本更准确的测量。

40。没测试成本

• 如果一组新功能进入生产,但需要返工,那么所有对返工的费用相当于没测试的成本。
• 不测试的成本也可以追溯到更主观的价值,如人的视角。下面是一些例子的主观的成本不是测试:
  • 更多的客户服务电话/服务请求
  • 生产中断
  • 损失的用户/客户信任,等等。
  • 失去了客户忠诚度
  • 可怜的品牌知名度

测试团队指标

这些指标可以用来理解为每个测试团队成员工作分配是否均匀,是否任何团队成员需要更多的澄清过程/项目知识。这些指标不应该用于属性责怪,但作为一种学习工具。

41岁。返回的缺陷分布,每个团队成员——2.0的见解

42。开放的缺陷分布测试/测试团队成员- 2.0的见解

43。测试用例分配,每个测试团队成员- 2.0的见解

44岁。测试用例执行测试团队成员- 2.0的见解

通常,饼图或柱状图是用来得到一个快速快照的工作任务。下面的图表立即带给我们的注意力,鲍勃是超额预定和大卫是没有得到充分的利用。这给测试领导者/经理调查为什么是这样的机会,如果需要采取纠正措施。

测试执行状态

测试执行快照图表显示的总执行组织为通过,失败,封锁,不完整,未实行的容易吸收的测试运行状态。这些图表是伟大的视觉辅助日常状态会议,因为原始数据有更高的机会通过人们的思想下滑。增加和减少酒吧抓住注意力和沟通进展和速度更有效。

45岁。测试执行状态图

测试执行/缺陷发现率跟踪

这些图表帮助理解的速度测试和缺陷发现率与预期值。

以累积缺陷计数和测试执行利率,理论曲线绘制。这与实际值相比会触发一个早期的红旗,测试过程需要改变是否能达成目标。

46岁。测试执行跟踪和缺陷发现率跟踪

更多信息和图像来源

改变指标的有效性

188金宝搏官网登录app软件发生变化——频繁,一些。变更注册必须监控理解他们对现有系统的稳定性的影响。变化通常产生新的缺陷,降低应用程序的稳定性,导致时间轴滑动,危及质量等。

47岁。测试效果的变化

的缺陷总数可以归因于变化。这可能意味着确保有适当的影响并修复缺陷发展愿景时附加报告。有点努力对这些缺陷进行分类的变化有关,而不是,但它是值得的。

48。缺陷注入量

测试数量变化/问题归因于更改

例如:如果十系统上的变化是由30缺陷是由于更改,那么每个更改最终注入三个缺陷和缺陷注入量是3 /变更。

知道这个数字将有助于预测缺陷的数量,可以将每个新变化。这允许测试团队使用战略回顾会议,了解他们的能力来帮助识别和修复缺陷来自新变化。

缺陷分布图表

缺陷可以基于类型分类,根源,严重程度,优先级、模块/组件/功能区,平台/环境,测试人员负责,测试类型等。奇怪的是,你的团队是如何建立一个缺陷报告的细化分类列表。

缺陷分布图表有利于理解和识别领域的目标最大的缺陷去除。通过使用柱状图,饼或帕累托图,显示您的开发和测试工作应该去的地方。

49。缺陷分布的原因

50。缺陷分布模块/功能区域

51。缺陷分布的严重程度

52岁。缺陷分布按优先级

53岁。缺陷分布的类型

54。缺陷分布由测试人员(或测试类型)- Dev, QA, UAT或最终用户

55。缺陷分布的测试type-Review、预排、测试执行、勘探等。

56。通过平台/环境缺陷分布

柱状图或饼图显示了一个即时视觉识别高度受影响的地区。但是,当有太多的参数,没有模式,很难辨别,你可能不得不使用排列图。

缺陷分布饼状图:这仅仅是一个目的。它可以帮助你快速找到最密集的地区(大多数缺陷的原因。)

缺陷分布柱状图:

当创建一个柱状图,一定要组织你的数据值从高到低或从低到高对于大多数的影响。

你可以停在这里,但得到更多的指标,继续下一步。

结合直方图分布的严重缺陷的原因。这将给你的领域,你应该专注于更准确。

例如:我们知道大多数缺陷引起的区域是用户数据输入,但是仅仅因为计数高我们不一定把重点放在第一个,因为大多数的“用户数据录入”很低(绿色)。下一个类别的最高数量的缺陷和高的部分严重的问题是“代码错误”。所以这个图表将完善我们的数据,给我们一个更深的理解,将进一步发展和修复工作。

缺陷分布帕累托图:

你也可以创建一个帕累托图找到导致将解决大多数缺陷。在许多情况下,帕累托图可能不是必要的。然而,如果有太多的原因和柱状图或饼图不足以显示的趋势很明显,帕累托图可以派上用场。

知道导致关注为了解决最大缺陷与最小工作(或者20%的原因可以解决缺陷的80%),画一条线在80%第二根轴上,然后将其X轴,如下所示:

导致用户数据输入和代码错误应该比其他人得到更多的关注。

缺陷分布随着时间的图表

缺陷分布测试周期结束时或者在某种程度上在测试周期缺陷数据的快照时间点。它不能被用来推导结论如果事情变得更好或更糟。例如:在一个点的时候,你就会知道,X数量的严重错误。我们不知道如果X是最后一个周期或少或多是相同的。

的分布随着时间的推移,你会知道什么是与每个类别的缺陷。我们可以看到如果缺陷增加,减少或随时间是稳定的版本。

缺陷分布随着时间是一个多线图显示缺陷/原因/模块/严重性趋势在一段时间内。

57。缺陷分布随着时间的原因

58岁。缺陷分布随着时间的模块

59。缺陷分布随着时间的严重性

60。缺陷分布随着时间的平台

以下数据:

测试周期	代码错误	安全问题(访问权限)	用户错误(数据录入)
周期1	8	4	15
周期2	7	3	13
周期3	1	5	9
周期4	1	5	4
周期5	0	4	1

情节的多行图3原因/ 5周期,如下:

这就是图表可以帮助我们理解:

1. 代码错误在最初的两个周期一直很高,但从周期3开始显著下降和保持在低水平。这表明开发工作效率。
2. 用户数据输入错误急剧下滑从最初的版本;这表明用户的增加产品的熟悉和接受
3. 保持稳定和安全相关的缺陷没有改善(即数量减少)测试周期的进展。这意味着,这些必须出席,优先解决。

限制:

1. 负面的趋势,即发布/测试周期,如果缺陷计数增加在一个特定的原因类别,这张图告诉我们那是什么,但不告诉我们为什么。
2. 这是最有效的,当有几个原因。想象这个图表有10个原因类别而不是3,将太多的线条使它太忙,很难解释。

创建的缺陷和缺陷解决图表

61年。创建的缺陷和缺陷解决图表

缺陷发现和固定表缺陷分析折线图,让我们看到缺陷去除过程模式和理解缺陷管理的有效性

开始创建固定与发现图表,首先必须收集。也没有发现的缺陷。日常测试周期期间的缺陷解决。这是一个需要累积数量的图表是有意义的。考虑以下缺陷数据在10天测试周期:

测试周期1 -日期	错误了	缺陷解决	累积的bug(总没有创建。创建的bug到目前为止)	累积缺陷解决(到目前为止解析的错误总数)
10/10/2016	6	4	6	4
10/11/2016	3	0	9	4
10/12/2016	4	4	13	8
10/13/2016	2	4	15	12
10/14/2016	2	3	17	15
10/15/2016	0	0	17	15
10/16/2016	1	0	18	15
10/17/2016	0	2	18	17
10/18/2016	0	2	18	19
10/19/2016	0	0	18	19

创建一个缺陷与解决图表上面的数据是这样的:

这个图表是伟大的但有太多行,分散我们的注意力。创建bug的原始数据和解决没有意义,你可以删除它们从清洁的图表创建与解决图表,如下所示:

这张图回答下列问题:

• 我们准备好船了吗?
• 年底是软件获得188金宝搏官网登录app稳定测试?
• 缺陷管理系统可以正常工作吗?

方法如下:

1. 绿线变得更直、平或稳定的测试周期的末期。这表明错误发现率下降,累计错误计数是常数,它帮助我们回答问题——“我们测试足够吗?”或“是准备装运了吗?“如果绿线变得越来越陡峭,这意味着找到错误并没有下跌的速度甚至末期测试。因此,需要更多的测试和产品还不能装运。
2. 末期的曲线,创建并解决线正在汇合(或多或少)。这也是一个不错的信号,因为它表明,缺陷管理流程是工作和有效地解决问题。如果蓝线是绿线以下,这意味着缺陷不及时解决,我们可能需要一个过程改进。

限制:虽然这图表回答了很多重要的问题,它有其局限性。

• 的绿线峰值可能发生在测试周期的开始通常当错误发现率高。的蓝线峰值也会发生,当开发团队经过所有的缺陷和标志着很多人完成。可以引起短暂的恐慌是怎么回事。
• 图表显示发生了什么,但知道为什么需要进一步的研究。

引用:

https://confluence.atlassian.com/jira064/created - vs -解决问题- - - - - - - 720416052. - html报告

管理测试过程,雷克斯黑色,第四章:“缺陷消除收入如何”

http://www.wiley.com/wileycda/wileytitle/productcd - 0470404159. - html

更多的缺陷度量

62年。差距分析缺陷去除效率/缺陷

缺陷去除效率的开发团队是能够处理和删除有效缺陷报告的测试团队。

计算缺陷的差距,得到一个计算总缺陷的提交给开发团队和缺陷的总数是固定的周期。使用公式,计算快速的百分比

例子:在测试周期如果QA团队报告了100缺陷的20人无效(不是错误,复制,等等),如果开发团队解决了65人,这个缺陷%的差距是:(65/100-20)X100 = 81%(大约)

当数据被收集在一段时间内,缺陷差距分析还可以绘制图如下:

巨大的差距表明,开发过程需要改变。

更多信息:https://www.equinox.co.nz/blog/188金宝搏官网登录appsoftware-testing-metrics-defect-removal-efficiency

63年。缺陷密度

缺陷密度的定义是每个尺寸的缺陷数的软件或软件的应用领域。188金宝搏官网登录app

如果缺陷总数的测试周期是30岁,他们都来自6模块,缺陷密度是5。

更多信息:http://www.188金宝搏官网登录appsoftwaretestinghelp.com/defect-density/

64年。缺陷的年龄

缺陷的年龄是一个帮助我们跟踪测量的平均时间开发团队开始修复缺陷和解决它。缺陷的年龄通常是测量单位的日子里,但是对于团队发布每周或每天的快速部署模型,项目,这应该是用时间来衡量。

团队与高效开发和测试流程,低缺陷信号bug修复更快的转变时代。

缺陷的年龄=时差创建和时间解决

这篇文章是写的斯瓦特Seela和瑞安Yackel。