容易:一个关键的连续性能测试要求

简单的管道:超出了测试脚本和“编纂过程”

现在一切都是代码。应用程序和服务的代码。测试代码。基础设施代码(IaC)。网络代码。安全代码。合规是代码。是的,这些过程的大多数(如果不是全部的话)也可表示的代码。这为什么会发生?

是可执行的机器代码。这是一个表示你想要发生什么,不管你是在按下按钮与否。它可以预定,触发和重播。代码库代表透明,无论是开源还是闭源。那些能读懂代码可以理解它在做什么,不工作的时候,可能会看到为什么。代码版本控制、回滚和向前,审核,修改。

测试资产、测试基础设施和测试过程中,当用代码表示,继承这些紧密联系。世界的大多数代码统一在Git(以某种味道)作为默认版本在所有代码资产管理协议。这允许性能测试工具像NeoLoad, Keptn,一百万其他技术允许工件保持在一个批准和理解系统的控制。

许多Tri188金宝搏app苹果下载软件centis客户不仅在Git存储测试套件,而且他们的“性能管道”脚本存储在相同的回购作为负载测试项目。为什么?语义,因为修改测试脚本、测试和测试数据来源通常所有谓词纳入他们的过程的语义代码(又名管道脚本)。这些变化可以做在一个单独的分支从主/主分支已经批准和使用团队,然后分支可以运行的管道和被证明是为了推广工作回主/树干。就像推广测试用例,测试过程促进保持交付过程的顺利进行至关重要。

“性能管道”也常常分开,triggerable过程从广泛的输送管道。为什么?当您运行一个性能测试,它失败了,你不一定需要重新构建,包,和部署预测步骤;相反,操作配置和部署调整往往足以达到最优性能。这些更改之后,只需重新运行性能测试管道是一个微不足道的任务。

简单的设施

有这个“大石头”负载测试将需要可靠的人,统计上显著的反馈对系统或组件的性能。那就是你的基础设施测试,被测系统(SuT),必须分开SuT的基础设施用于施加压力。较短,小地方性能检查,使用单个计算资源很好。

与更大的和更长的测试,你必须把工作分成多个计算资源。这就是我们所说的“负载生成器。“你有一个以上的计算资源,你需要一个测试协调器,这就是我们所说的一个“控制器。“这是相同的概念作为CI系统及其构建节点,只是为了提供不带偏见的性能数据SuT计算资源在压力下。

管道,这是一个非常糟糕的主意,合并与load-making软件建立节点的角色,特别是因为如果资源是强调通过负载,它停止可靠报道构建状态回到了CI的主人。188金宝搏官网登录app大多数构建节点等工具仅仅是Maven, Python,声纳和各种综合领先指标。片状代理是一个糟糕的演员,特别是在规模运行这些测试时相互独立的。没有人喜欢片状或失败的构建。

的另一种选择是把管道的工人节点执行语义,但请求从一个单独的系统动态负荷的基础设施。早期工业尝试提供“双轮马车”构建容器管道代码最终倒塌在容器的复杂性网络编制和资源争用。尽管如此,一些NeoLoad顾客采用的性能测试管道早在詹金斯2。x将使用云CLI AWS等工具或GCP供应电话,等待收购,运行负载测试使用的资源,然后旋转。这是很多工作并最终散货管道代码。

尤其是现在很多组织使用云提供商的CI过程,NeoLoad Web运行时支持auto-provisioning这些资源通过OpenShift和Kubernetes提供者。传统静态基础设施仍然支持通过附加这些资源不间断NeoLoad Web资源”区域,“但如果可能的话,大多数客户喜欢配置需等测试基础设施通过弹性计算AWS的Fargate和其他Kubernetes-compliant集装箱供应平台。如果你不想思考的基础设施,总有NeoLoad云平台基于saas的负载生成器。

从性能管道语义抽象负荷基础设施显著改善客户的能力提供自助服务绩效反馈模型对许多产品团队在大型组织。另外,它让你的管道更简洁、易于理解,必要时和快速调整。

容易去/不方便

我们做所有这些事情很容易。那又怎样?有什么意义的测试如果不迅速提供开发人员和运维工程师有用的反馈,可以帮助他们做一些他们的系统的性能呢?

除了通常的(但仍需要)原始负载测试的结果,团队经常设置阈值或sla警告当性能超出可接受的范围内。sr倾向于建立这些阈值使用服务水平与服务水平目标(SLOs)和测量指标(图书馆),这样很容易知道什么时候表演跳水。

你不应该要等很长时间才知道在你的表现,你的系统没有准备好和失败的性能阈值。回到使用和红色的概念,这些服务“影响”的度量标准也应该是一个关键阈值和性能测试失败的战略的一部分。红色的组合和使用测量负载测试期间允许性能管道“快速失败”的压力/负载/服务观察和影响。没有这两种类型的指标,你根本没有足够的知道如果性能是可以接受的。

为此,NeoLoad CLI用于客户的性能管道支持容易实现“fastfail”语法。同样的,我们YAML-based“代码”规范不仅支持SLA阈值(可能是不同的每个环境和容易定义不同的环境),而且还直接Dynatrace支持捕获和发出红色和使用指标的全谱NeoLoad网页搜索结果和仪表板。

最后,比较当前测试基线和访问的基础数据应该很容易在管道的上下文中。使用这些数据实时通过REST API是一个关键的目标NeoLoad Web API,这样无论你特定的设计和分析要求,你有一个可靠的和不会过时的方式构建这些性能管线流程。

把它放在一起

我们在Tri188金宝搏app苹果下载软件centis帮助客户每天做这些事情,和有很多配置和技术选择已经在玩了。引用的例子是可以在GitHub,负载测试集装箱组件,但整体性能测试经验:

• 开始编纂性能测试过程的api。
• 使用这些模式和知识扩展到其他类型的应用程序测试。
• 不要期待好的结果从沉重的工具进CI构建节点。
• 确保有environment-appropriate阈值/ sla。
• 公开两个红色和使用指标到管道简化行/不行结果。金宝搏188官网网址
• 标准化的结果是如何报道到中央数据可以聚集的地方。

这些性能测试主题的深入讨论,看看我们的白皮书连续性能测试的实用指南。