在生产负载和性能测试

Deb柯布,企业产品经理

软件测试的设置和管理生态系统是测试人员面临最突出的挑战之一。188金宝搏官网登录app尽管大多数负载和性能测试活动是在前期制作或QA环境中执行,经验丰富的测试人员承认一个气死人的事实——没有测试实验室可以完全反映生产环境。购买重复生产硬件测试是过于昂贵,克隆生产数据的过程过于繁琐。

现实情况是,测试人员只能近似他们的生产环境中通过设置测试生态系统组成的一个复杂的各式各样的最佳解决方案缝在一起,形成一个连贯的测试环境。因此,性能团队承认他们需要生产前和生产测试应用到他们的项目。

建立全面的测试环境的挑战,重复生产配置,更多的公司和顾问在生产测试。虽然在生产测试提供了一个解决环境问题,它要求测试人员遵循最佳实践测试成功和管理这种方法的许多风险。

左移位和改变正确的测试

采用DevOps,有丰富的讨论在管道的早期测试(即。左移位测试)。虽然测试尽早并且经常是至关重要的,鼓励,它只有一个元素的一个完整的和全面的测试策略。产品团队实践敏捷测试方法也拥抱改变正确的测试,测试在生产。

性能、负载和压力测试应用程序的方方面面推到其局限性。目的是发现它可以处理什么,什么用户体验将清单,什么错误显示。问题是预生产试验条件并不总是准确地反映生产环境。测试在生产中构建另一层验证软件版本;188金宝搏官网登录app团队可以在野外评估新版本的行为”。“测试在生产不仅确保完整的测试覆盖率还培养更有弹性的软件。188金宝搏官网登录app

不启动测试不知道后果

测量应用程序的性能只能风险在生产环境中进行测试。为了避免昂贵的性能问题,我们建议在QA环境测试。同时,团队需要手立即做出反应,根据影响测试已经在生产环境中。

测试在生产期间监测基础设施

测试在生产中需要持续监控整个架构。性能工程师必须全面了解健康的生产环境:

• 停止测试,以避免重大生产问题
• 关联和识别应用程序中的瓶颈

此外,设置适当的监控不足以确保测试在生产;特定资源需要作出正确的决策。这些资源包括计算/ CPU核心,存储层,网络带宽,等等。关键是测试环境往往远小于实际生产同行。假设两个白盒测试服务器使用相同的操作系统/数据库版本,一些开关,空载方差(除了什么负载测试软件生成)相当于自信,应用程序将执行在实际负载的情况下在真实的生产环境中是不合理的。188金宝搏官网登录app

明白真实用户测试在生产的影响

我们都同意负载测试在生产中可以影响用户或业务流程已经在环境中工作。导致的影响是主要的测试项目。例如,会有更重大的影响在真实用户限制比恒定负载模型的测试。无论测试目标、性能工程师必须考虑负载的影响他们相应的应用和操作。真实用户访问应用程序在这些测试结果添加噪声,模糊性能测试分析和解释。结合了真实和虚拟交通,它可以挑战识别性能问题的原因,可能是由于:

• 采用的负载测试
• 业务流程由生产流量调用
• 两者的结合

过量的噪音环境中只会让了解性能测试结果更加困难。为了避免这些问题,在低流量运行负载测试后几小时或部署应用程序的新版本。

不生成加载第三方应用程序

生成负载一个第三方应用程序可以间接创建合作伙伴的环境的负载。这不仅有法律后果还可能导致第三方阻止或黑名单交通在测试期间,产生的错误影响负载测试目标。

因此,大多数测试人员删除请求,直接到第三方。记住,这个解决方案将略微改变所有在测试期间检索响应时间。

在生产环境中创建测试数据

负载测试通常需要一个大型数据集生成代表交通(例如,登录、产品等),它通常是具有挑战性的生成该数据在生产环境中使用。188金宝搏官网app注册

一些商业交易将在公司的后台办公系统生成数据。如果我们看一个电子商务的网站,确认订单可以给后台测试数据,可以连接到/从后台服务的公司。

在生产环境中使用测试数据:

• 与生产和断开连接测试数据库。(这是可能的,当环境不是连接到多个应用程序)。
• 创建一个特定的测试账户testing-dedicated在生产。注意,这有时会很困难,甚至不可能在生产环境中。
• 避免在后台测试步骤,生成记录(例如,避免验证测试顺序)。

实现您的测试在轻量级使用时间窗口

回顾你的分析确定最佳时间来执行测试。如果你不能访问准确分析,考虑夜间测试(例如,11 PM-5 ET),部署一个新版本之后,或在指定的维修时间。

使用服务虚拟化或一个测试数据库

测试人员应该考虑外部服务调用的应用程序的影响。可以显著的影响取决于调用的数量和利用率,这可能执行的高需求,耗费资源的处理工作。了解这些调用影响性能是至关重要的。保证负载测试的效率通过检查这些特性,我们建议使用服务虚拟化,这将允许测试人员取代第三方与服务模拟第三方或后台的反应。

为了避免影响业务数据,删除所有交互与第三方服务和后端系统。

结论

在一个理想世界中,更密切的测试环境与生产环境中,匹配更精确的性能基准测试的结果。然而,创建一个测试环境的精确复制品生产环境中几乎是不可能的。因此,根据定义,测试人员收集不切实际的性能结果的测试由于测试和生产环境之间的关键差别。

虽然大多数公司在生产中避免测试(小费)基于对现实世界的用户活动的潜在影响和数据,测试人员可以减少通过团队的影响和基于流程的最佳实践。

技巧确保:

• 预期负载是支持的生活环境
• 端到端用户体验是可以接受的
• 网络设备或CDN可以充分处理预期的负载

生产测试时,测试人员需要主动监控测试下的程序。通过监测,我们不是指检索技术计数器的架构,但定期测量终端用户的性能。综合监控,例如,允许QA运行一个用户的优势从几个地点,同时提醒测试人员对异常的响应时间。监测有助于操作识别并解决生产问题没有这些问题必须被真实用户。

这篇文章最初发表在2018年5月和2021年7月最后一次刷新。

Deb柯布的形象LinkedIn