自动化在CI / CD过程可用性测试

记者鲍勃Reselman,软件开发188金宝搏官网登录app人员和技术

如果你的公司不是连续测试自己的软件,你在毁灭的道路。188金宝搏官网登录app鉴于市场需求的增加有更多软件的发布速度更快的速度,没有一家公司可以依靠手工测试对于大多数的质量保证活动和保持竞争力。188金宝搏官网登录app自动化对CI / CD过程至关重要,特别是可用性测试。

竞争公司自动化测试过程。这是个好消息。坏消息是,通常用户行为测试自动化的范围是有限的,很容易模仿,例如,功能和性能测试。更复杂的测试——那些围绕人类因素——通常是留给efficiency-challenged手工测试。

结果是:一个公司可以有闪电般的在发布过程的某些部分测试执行,只是放缓至一个蜗牛的速度当劳动环境测试需要与之相适应。有很多方法,劳动环境测试在CI / CD过程可以自动化。关键是要理解测试过程中的人工干预是必要的;建筑自动化过程适应这些界限。

软件测试的四个方面188金宝搏官网登录app

明白劳动环境测试启动/停止,它是有用的概念模型部分188金宝搏官网登录app软件测试整体。一个模型将软件测试分为四个方面:功能、性188金宝搏官网登录app能、安全性和可用性测试(图1)。表1描述了。

软件测试的四个部分:188金宝搏官网登录app

功能、性能、安全性、可用性

软件测试的定义的四个部分188金宝搏官网登录app

1. 功能像预期的那样:验证软件的行为相对于业务逻188金宝搏官网登录app辑/算法的一致性。
   例如:单元测试和组件测试;集成& UI测试
2. 性能:确定软件系统的响应性、准确性188金宝搏官网登录app、完整性和稳定性在特定工作负载下,操作环境。
   例子:负载、缩放和部署测试
3. 安全:验证软件系统不会恶意行为,不受恶意188金宝搏官网登录app入侵。
   例子:渗透、身份验证、注射和恶意软件测试
4. 可用性:决定是多么容易的对于一个给定的用户社区经营(使用)一个特定的软件系统。188金宝搏官网登录app
   例如:用户界面任务效率,信息保留和输入精度测试

数据驱动和人为测试

鉴于以上提供的信息,是有道理的,功能,性能,安全性测试得到的大部分注意力时自动化。这些测试机集中和定量数据/,所有这些可以很容易地machine-initiated下运行脚本。情况变得更加复杂和可用性测试。

可用性测试需要随机,手势输入,只能由人来提供。因此,创建一个自动化过程为这种类型的测试是很困难的。不仅仅是一种生成数据,并将它应用于一个网页与硒脚本。人类行为是很难模仿通过脚本。考虑可用性测试网页的过程最优数据的效率。人工输入数据的速度会有所不同根据页面的布局和语言以及注册数据的复杂性。我们可以编写一个脚本,该脚本假设人类行为数据条目,但得到一个精确的画面,这是人类更好地执行任务。毕竟,可用性测试的目的是评估人类行为。

可行的在一个持续集成和持续交付(CI / CD)过程中,必须进行测试自动化。问题就变成了,如何自动化可用性和其他类型的劳动环境测试时,乍一看,他们似乎超出了自动化的功能吗?答案是:尽我们所能。

尽可能自动化

不管你是什么类型的测试执行,这将是一个过程的一部分,基本上四个阶段:设置,执行、拆解和分析(图2)。

图2:软件测试的四个阶段188金宝搏官网登录app

当涉及到创建CI / CD过程的效率,关键是自动化,即使不是全部,给定阶段尽可能的(有效的话说“尽可能”)。某些类型的自动化测试很好地在所有阶段;而另一些则不会。重要的是要理解在给定的测试自动化的限制在四个步骤。

完全自动化功能和性能测试期间是可以实现的

功能和性能测试,活动自动化的四个阶段是非常简单的。您可以编写一个脚本,该脚本(1)收集数据,(2)它适用于测试用例,和(3)重置初始状态的测试环境。然后你可以使测试结果可用于另一个脚本(4)分析结果数据,通过分析利害关系方。

安全性测试需要一些手动调节

安全性测试有点难因为一些自动化测试的setup和teardown可能涉及特定的硬件住宿。有时这仅仅由一个调整配置设置在一个文本文件中。路由器的其他情况下可能需要人类的洗牌,安全设备,电缆在一个数据中心。

可用性测试有一组特殊的挑战

可用性测试自动化增加了一定的复杂性挑战。测试设置和执行需要人类活动协调。例如,如果你在进行可用性测试一个新的手机应用程序,您需要确保人类测试对象可用,可以观察到,并有适当的软件安装在适当的硬件。188金宝搏官网登录app然后每个主题都有执行测试,一般测试管理员的指导下。所有这些需要大量的协调努力,可以减缓测试过程当手动完成的。

虽然实际执行可用性测试需要手动,大多数其他活动的设置,可以自动拆解和分析阶段。您可以使用调度软件管理的很大一部分设置(如发现188金宝搏官网登录app,然后协调邀请测试对象的测试网站)。此外,自动化可以被纳入所需的应用程序和硬件的配置。

观察测试对象,您可以安装软件的测试设备测量键盘,鼠标,屏幕上的活动。188金宝搏官网登录app一些可用性实验室将在视频记录实验对象的行为。视频文件可以提供给人工智能算法进行模式识别和其他类型的分析。没有需要人工审查每一秒的录像来决定结果。

关键:在那些需要执行的测试活动的人类,剩下的任务并使之自动化。隔离手工测试活动变成了一个具有良好边界时间框将很长的路要走在CI / CD进行可用性测试过程更容易预测和更有效率。

把它放在一起

软件测试的一些组件,如automati188金宝搏官网登录appon-friendly功能和性能测试。等安全性和可用性测试,需要的人工参与,从而使测试自动化一个挑战。

你可以避免手工测试成为一个瓶颈在CI / CD过程通过确保范围,发生,和手工测试执行时间活动,尤其是身边的可用性测试,是众所周知的。危险是指手工测试成为一个不可预知的黑盒,时间和金钱,看不到尽头。

这篇文章最初发表在2019年7月,是最近更新的2021年7月。

鲍勃Reselman的形象LinkedIn