测试自动化的新愿景:愿景AI

188金宝搏官网登录app软件测试人员和测试自动化方面已取得了很大的进步在过去的十年中,但仍有一些挥之不去的烦恼:

• 测试需要左移位,但UI测试自动化UI需要完成(稳定)
• 非常新/老/专业技术支持或要求广泛的定制
• 虚拟和远程应用程序超出范围
• 甚至偶尔高弹力测试需要关注和更新
• 应用现代化=测试不稳定

输入视觉人工智能通过Tricentis,最新的创新。188金宝搏app苹果下载软件

愿景AI是下一代的自动化:deep-learning-driven自动化,可以看到和使用UI像人类。人类行为模拟使用各种人工智能和机器学习策略——例如,深卷积神经网络结合先进的启发式-提供稳定、自愈、平台无关的UI自动化。

从测试的角度来看,您提供的自然语言描述什么行动来执行,和引擎转换到适当的UI交互。UI元素识别基于他们的外表而不是他们的技术属性。如果重新设计一些UI元素或整个应用程序被重新使用一项新技术,它并不重要。像人类一样,自动化会算出来和适应。

一看

188金宝搏app苹果下载软件Tricentis愿景AI水龙头智能对象检测技术来识别UI元素。新软件测试这种方法,但它像特斯拉公司用来检测对象188金宝搏官网登录app(其他车辆、行人、标志、停车灯,树木,等等)的无人驾驶汽车。

在这一点上,您可能想知道:为什么我们会自动驾驶汽车技术并应用到自动化测试?速度和准确性。无人驾驶汽车必须实时准确地识别对象。任何延误将导致事故,甚至导致生命损失。赌注可能不是那高自动化测试的目的,但实时精度仍然是至关重要的。缓慢的DevOps自动化无法在世界上生存和CI / CD。直到现在,UI自动化工具能够过程只有1.8帧每秒(平均)。相比之下,人类可以处理24。使用智能对象检测、视觉AI过程40帧每秒。现在有意义吗?

所以,我们把智能对象检测技术和适应它检测控制和理解用户界面。而不是寻找行人、标志和信号灯,它可以找到拉,或表,或列表,或者菜单——任何人类可以识别控制,真的。

但检测控制只有一个挑战的一部分。我们还需要读实时屏幕。这是OCR(光学字符识别)。OCR已有20多年,但它仍然不是非常快。即使是OCR开发的行业巨头秒看屏幕,但导航ui像人类需要实时反应的字符识别毫秒。这就是为什么我们发明了一种全新的一类AI-driven光学字符识别。

使用这些技术,我们可以看到和理解用户界面…快。这里有一个快速浏览,如何ServiceNow应用程序:

但是,与测试自动化和无人驾驶汽车一样,是不够看,明白事理。您还需要开车。视觉AI从未打算成为一个“测试自动化工具”,而是“自动化测试引擎。“因此,它需要融入一些可以提供核心功能测试数据管理和测试用例的设计。你能想到的愿景AI增压现有工具套件,而不需要一套全新的工具。添加了这层智能、自动化是足够聪明绝大多数的UI变化——事情不可避免地使传统的自动化,但不会使人三思而后行。

视觉AI非常聪明,因为它是“训练”9米控制和超过12米的例子。但是,像人类一样,它有时会犯错误——特别是当它面对的情况以前从未遇到过。在这种情况下,你希望一个合理的人类会做:从错误中学习。有两种方式这一愿景人工智能学:从Tricentis(监督训练)和188金宝搏app苹果下载软件你。视觉AI提供了你教它的能力。您提供的数据训练立即更新我们的逻辑,教学你的人工智能是智能。可选地,您可以发送Tricentis这些数据使整个188金宝搏app苹果下载软件解决方案更聪明。我们相信一个选择模型的数据隐私,所以你的数据没有共享Tricentis除非你给明确的许可。188金宝搏app苹果下载软件

有趣的…但测试人员和测试的真正价值是什么?

这可能不是第一次你听到有人在谈论“人工智能软件测试。188金宝搏官网登录app”,但这里有一些第一次真正价值加到你的软件测试实践:188金宝搏官网登录app

您可以构建UI自动化UI存在之前

您可以构建自动化UI之前存在。视觉AI可以简单的定义——像一个文本需求定义,模型,甚至白板图,构造一个基于自动化运行情况。与这个“左移位”,在短跑UI测试自动化终于触手可及。

您的测试可以承受应用现代化

当您升级您的应用程序中,视觉艾未未的自动化不休息。我不是说像小升级,就像你已经改变一些技术IDs之类的。我所说的非常重大的升级技术从一个到另一个或升级你的JavaScript库从一个老jQuery UI设计新角材料。

Citrix吗?定制吗?旧技术吗?新技术吗?没有问题。

如果你能看到它,视觉AI可以自动化。视觉AI工作任何视觉界面。因为它是使用技术的可视化界面的连接,它可以通过Citrix和远程桌面。它甚至可以当你没有连接到机器上时,你看(例如,你看它通过RDP接口)。它作用于接口使用的技术不再可用,比如过时/弃用的版本古普塔,Silverlight,闪光(我们知道他们不是时尚,但他们仍然在今天的世界)。它还可以使用新技术,还没有支持的(大部分)自动化工具:例如,颤振,Blazor,电子。

很简单,你的祖母可以做到

与视觉AI,自动化测试非常简单。事实上,我们的一个项目的指导原则是“很简单,你奶奶可以做到。“既然远见卓识AI接口一样,人类做的,您可以定义自动化就像描述另一个人。例如:

现在点击“申请”按钮。

输入“大卫”的“名字”。

输入“Colwell”在“姓名”字段。

从“国家”下拉选择“澳大利亚”。

…

但是,作为测试人员知道,真正的测试自动化的痛苦是在维护:处理动态变化的xpath, IDs…可能不是你奶奶想要解决的事情。与我们的自我修复执行,乏味的技术调整并不是必需的。

视觉AI:亲眼看见了才会相信

我知道,言语是廉价的。下面是一些具体的例子,演示如何真正实现我上面提到的四个好处…

这里有一个有趣的小蒙太奇的视觉AI可以做更多事情…

准备给它一个旋转?视觉AI作品连同现有的测试执行平台,如:

• 188金宝搏app苹果下载软件Tricentis托斯卡(公共预览现在+一般可用性11月30日)
• 188金宝搏app苹果下载软件Tricentis qt(β)
• Visual Studio代码(α)

换句话说,它的现成Tricentis托斯卡用户,但是你不需要托斯卡受益于视觉AI。188金宝搏app苹果下载软件

我和我的团队很乐意指导你通过体验;只是联系我们我们会让你在路上到下一个测试自动化的时代。当你开始探索视觉AI,请记住,你的反馈是非常宝贵的主要新技术的发展。如果你发现你认为我们的人工智能领域可能会更聪明,或者看到新改编的机会,请让我们知道!

想要了解更多关于视觉人工智能,看这个会议演讲。