五星插件

Outbrain如何通过自定义web应用测试将测试编写时间减少95%

公司概述

Outbrain是全球领先的原生广告平台。你可能没有听说过Outbrain,但你肯定使用过他们的服务。Outbrain帮助超过10亿人发现他们可能感兴趣的内容、产品和服务。188金宝搏官网app注册他们专门从事原生广告——提供文字内容和视频,这些内容和视频被整合到展示平台上。

如果你访问过CNN、BBC或LeMonde等新闻网站并读过一篇文章,你很可能会看到Outbrain策划的相关文章或广告。Outbrain帮助出版商和广告商与希望参与其内容的人联系起来。

我们与Outbrain的前端公会负责人tachi Shushan讨论了他们对Tricentis testm的使用。188金宝搏app苹果下载软件

痛苦的web应用程序测试挑战

Outbrain的软件188金宝搏官网登录app是其成功的关键,它将内容发布者与内容消费者联系起来。Outbrain原生内容引擎在付费出版商的网站上为用户提供有趣和相关的内容。测试是一个挑战,因为应用程序在超过10万个它不拥有的网站上显示feed。然而,Outbrain的成功取决于读者点击这些提要中显示的内容并获得适当的结果——将读者带到正确的地方并记录交易。

Outbrain是一家在微服务环境中的现代开发公司,在整个生产过程中都有持续的交付管道。它每天向产品发布几次代码,并且严重依赖于测试。“我们使用单元测试、集成测试和完整的应用内工作流集成测试。每次修改相关代码都会进行相关测试,”Tsachi说,“而web应用程序测试一直是最痛苦的部分。”Outbrain使用的是Selenium和Protractor,但并不是每个团队都能跟上。

“许多团队想要进行应用内部工作流测试,但并不是每个团队都有能够支持他们的自动化工程师。”- tachi Shushan, Outbrain前端公会负责人

即使是拥有自动化工程师(AE)的团队也遇到了困难。编写测试需要花费很长时间,它们经常失败,并且需要花费大量时间进行调试。甚至每个团队的运行配置也不同。测试需要很长时间才能运行,而且不稳定。Tsachi估计他们在自动化上花费了10-15%的web工程时间。对于一个拥有超过50名从事web应用的工程师的组织来说,这相当于5到7名全职工程师。他们从团队那里得到反馈,认为他们在自动化任务上花费了太多时间。他们需要一个更好的解决方案。

Outbrain知道,随着应用程序的增长,它会想要花更多的时间在回归测试上,而目前使用Selenium和Protractor的模型无法有效地扩展。

翻开新的一页

Outbrain的传统POC评估过程持续了大约一个月,比较了许多解决方案,包括TestCafe、TestCraft、Cypress、Endtest、Ghost Inspector等。188金宝搏app苹果下载软件Tricentis testm被认为是最合适的。

Tsachi说,他们的标准包括易用性、快速编写测试的能力、功能的完整性以及支持团队的响应能力。该产品易于使用,也为他们的应用工作良好。Tsachi强调,

“记录仪至少比我们尝试过的其他解决方案高一级。它适用于各种场景,包括拖放、iframe、鼠标手势等等。”- tachi Shushan, Outbrain前端公会负责人

他还对智能定位器提供的稳定性印象深刻。“他们的测试非常可靠。他们不会因为小的代码更改而失败。在我们测试的产品中,这是非常独特的,”他补充道。188金宝搏官网app注册

最后,他们还研究了支持体验。tachi说:“testm的支持团队反应迅速,乐于助人。”

用于快速测试创建的UI测试解决方案

Outbrain选择Trice188金宝搏app苹果下载软件ntis testing进行应用内工作流功能UI测试。总共有大约20个应用程序与testm一起测试,包括嵌入在全球超过10万个网站中的feed。它的应用程序包括允许客户创建广告活动的内容广告平台,以及帮助发布者管理Outbrain feed内容和设置的发布者应用程序。

Outbrain已经将testm整合到它的CI管道和流程中。这包括在新特性提交上运行功能测试,在较大版本上运行回归测试,所有这些都是由Jenkins CI构建触发的。Outbrain在自己的Selenium网格上运行它的testm创建的测试。

测试自动化项目的目标之一是让尽可能多的团队参与到端到端测试中。在testm之前,只有6个团队使用Selenium和Protractor进行应用内工作流测试,而现在有14个团队参与其中,这主要归功于testm的易用性。

开发人员现在可以更容易地切换上下文,这使得编写测试更容易被接受。他们不想编写编码测试,而testm允许他们记录和配置测试。“在使用testm之前,大型应用程序中的新测试需要一到两天的时间来编写和稳定。同样的测试在testm需要20到30分钟。”

Tsachi谈到了整个变化,“我们收到了很多关于过程、编写和修复测试的良好反馈。开发人员喜欢这样,他们不需要编写代码、提交代码、等待代码审查等等。”

“开发人员可以记录测试,这使得开发人员更容易切换上下文。”- tachi Shushan, Outbrain前端公会负责人

结果

  • 增加了使用的团队数量应用程序工作流程测试从6到14,6个月内增长了233%
  • 减少自动化测试所花费的时间从占网络工程团队时间的10-15%减少到5%(减少2-3倍)
  • 增加测试覆盖率估计减少了50%,从而提高了质量
  • 减少编写稳定测试的时间从1-2天到20-30分钟,节省95%以上
  • 信任增加了因为开发者知道他们有一个有效的安全网
Baidu
map