可观测性加速应用程序的性能

作者斯高级性能工程师,埃森哲

2016年12月18日。我记得这一天,就好像它是昨天。动物园里那一天,我失去了我的儿子。托马斯只有两岁。只是一个第二,我忽略了这个小活跃的孩子。我的大脑进入恐慌模式,我已经想象他潜入狮子的外壳。我立刻走到动物园的工作人员,要求帮助。我提供了一个描述的托马斯:男孩,两岁的时候,不太说话,穿着黑色短裤和一个黄色的t恤。五分钟之后,工作人员告诉我,他们找到了一个男孩。但是男孩不符合描述。 Tomas was wearing a blue T-shirt and yellow shorts. Luckily, as soon as Tomas saw me, he jumped into my arms and gave me a big cuddle. This could have been way more embarrassing.

虽然我认为我知道托马斯穿着,这并非如此!我没有看到他穿着密切关注。我之前没有“观察”他带他去动物园。我相信这个个人故事可以翻译成ICT (信息和通信技术)系统。我们观察指标,并没有真正理解这些指标是什么意思或者应该如何解释它们。

定义:观察

性能工程,我已经创建了一个定义观察:

仔细观察应用程序的行为用“响应时间”作为主要指标和“资源利用”作为二级指标——主要目标理解数字终端用户体验和采取行动,如果经验是不可接受或有辱人格的积极主动

监控性能的ICT系统时,你必须看的终端用户体验。没有度量比理解更有用真正的性能最终用户体验。其他指标是次要的。很可能是CPU的ICT系统是近100%。不过,如果这并不影响最终用户体验(在线、批),这是更少的关键当用户体验是可耻的和影响收入,你的公司品牌,和忠诚。这就是为什么我喜欢指可观察性的两大支柱:

• 主要支柱:响应时间指标
• 第二支柱:资源利用率指标

这些柱子是良好的用户体验的基础如果正确地观察到,和积极的行动时发生了退化。

上下文是至关重要的

在查看应用程序性能监控(APM)仪表板,它是关键,你理解与应用程序上下文和知道正在发生什么。这既是从业务的角度来看,从发布的观点。影响终端用户体验的风险是高当改变一个ICT系统。改变可以是一个应用程序版本,一个基础设施升级,配置变化,数据库修改,甚至一个网络的变化。能够跟踪任何(计划内或计划外)变化,这些变化包括监视仪表板提供了一个额外维度指标。不幸的是,我没有看到任何APM提供者将发布信息嵌入到他们的APM仪表板的内置功能,这是至关重要的,提供上下文和能够观察应用程序行为。

有时业务本身是最重要的风险糟糕的应用程序的性能。通常当公告媒体(电视、网络、社交媒体或报纸),这可能会导致很多公司的兴趣。如果这些计划公告,不是重要的it部门注意吗?主动,部门可以伸展,或操作团队可以保持更紧密的眼睛(阅读:观察)ICT系统的性能?

performance tester观察应用程序性能如何?

DALPA-O测试

让我来介绍一种新型的性能测试:DALPA-O测试。DALPA-O测试是一个日常自动化负载测试在生产中启用了APM的可观测性。测试在生产中是危险的,但它也有价值。“生产”总是正确的软件版本和配置,正确的数据量,并且不花费很多钱来设置,因为它已经存在。188金宝搏官网登录app这是一个奖金!生产环境监控工具(APM像Dynatrace、AppDynamics或New Relic)观察安装和配置应用程序的行为。大多数业务应用程序不大量使用24×7。可能有windows在白天或者晚上,几乎用于所有应用程序。这提供了一个机会使用生活生产环境中执行的负载测试。结果是可以信任的,如果你每天都这么做——一个完全自动化的方式——你可以得到很多信息,支持应用程序性能的观察。

用例:金融客户在荷兰

在一个金融客户,我们一直执行DALPA-O测试在过去的几个月里。我们使用的负载测试工具188金宝搏app苹果下载软件Tricentis NeoLoad,APM软件188金宝搏官网登录appAppDynamics。下图给出了一个概述。

每天早上7点。,我们自动执行负载测试在生活生产和出口NoGui模式原始数据到一个文件中。原始数据可以被定义为每一个测量的响应时间,即。,而不是依靠平均或聚合。分析基于原始数据的负载测试提供了应用程序的性能的真实故事。我们使用机器人分析框架(RAF)结果到中央数据存储库。英国皇家空军增加了软件的版本标识和一个RunID(测试执行的唯188金宝搏官网登录app一标识符)和自动分析结果通过比较原始数据上运行一个或多个先前执行运行状态”。“我们使用场景的商业智能软件。188金宝搏官网登录app表指示板——这与英国皇家空军所产生的分析结果,为我们提供了观察见解在应用程序的性能。下图展示了主要的面板。图形包括原始数据、趋势线和百分位图。每一个特定的图表提供了一个不同的数据视图,可以显示应用程序行为的变化。测试执行分数,计算了皇家空军框架,是高管们所喜欢的,因为它是一个简单的指标来理解。数越高,自动化负载测试的结果越好。这些仪表盘,我们已经介绍了可观测性的主要支柱:响应指标。

第二支柱,“资源指标”,我们创建了两个解决方案。

1。整合NeoLoad德克斯特

我们集成Tricentis 188金宝搏app苹果下载软件NeoLoad德克斯特——数据提取与增强的报告框架从AppDynamics转储的资源指标,即APM解决方案,监控生产,到平面文件。当我们执行这个负载测试每一天,我们有365数据集与广泛的资源指标的集合。德克斯特也为我们提供了火焰图像,这告诉我们在哪个代码已经花了大部分时间。

上面的图像提供了一个如何整合NeoLoad德克斯特的高级视图。用户路径(也称为脚本)“商业交易”是我们使用的脚本模拟峰值负载测试在生产。在开始测试之前,我们自动设置开始时间,这是一个“日期时间”变量。我们使用共享队列通过这个变量从一个用户路径,“商业交易”,第二个用户路径,”德克斯特。“通过这种方式,我们可以指定特定的时间范围指标集合。这个时间范围设置在JSON文件中,称为工作参数文件。在您所指定的工作参数文件:

• 度量集合的时间范围

• AppDynamics控制器(s)和AppDynamics监控的应用程序
• 一个用户帐户从AppDynamics指标
• 指标的收集
• 报告生成

在NeoLoad JavaScript生成JSON文件。command-Llne行动,我们称之为德克斯特和两个参数指定的路径JSON文件,输出资源指标。

(见在这里关于德克斯特的更多信息。或下载在这里。)

2。集成的NeoLoad AppDynamics使用REST调用

我们创建了一个NeoLoad用户路径调用特定指标(CPU、内存、磁盘I / O)从AppDynamics和将这些值添加到中央存储库。表,我们可以创建二级仪表板显示资源利用率。

结论

观察是至关重要的,以确保你的客户很高兴最终用户。糟糕的性能和可用性(错误页面——我们都讨厌这些!)有害的网上贸易,导致损失的收入,你的品牌忠诚度,减少有害影响。

performance tester可以支持创建自动化日常负载测试的可观测性的生产。聪明的框架(如RAF)驱动的自动收集和分析响应指标。智能仪表盘——创建BI工具(如表)——是可观测性的眼睛。提供上下文到这些仪表盘包括版本号与分析将有助于减少响应时间发生。在最好的粒度资源利用率指标可作为二级指标支持分析问题发生时。