为什么ETL BI /数据仓库项目的自动化测试是必要的…以及如何开始

编者按:韦恩Yaddow是一个独立的顾问拥有超过20年的经验主要数据迁移/集成/ ETL测试项目在组织包括摩根大通(J.P. Morgan Chase)、瑞士信贷(Credit Suisse)、标准普尔,AIG,奥本海默基金、IBM和Achieve3000。此外,韦恩告诉IIST(国际软件测试研究所)课程188金宝搏官网登录app数据仓库,ETL,数据集成测试。他继续领导很多ETL测试和指导项目咨询的基础上。你可以联系他wyaddow@gmail.com。

Gartner最近表示,在70年,80%的商业智能项目最初以失败告终,但许多简历由于他们对组织的重要性。随着企业创建和需要比以往更多的数据,大量的BI失败可能会呈现指数级增长。这将会产生非常深远的影响在底层数字转换活动旨在使这些BI项目。

鉴于公司发布新的应用程序速度比曾有的每天多次发布更新需求和许多组织使用手册ETL测试流程和错误的工具来管理关键部分高度可见的版本经常面向客户的应用程序。转化为风险:风险客户忠诚度,品牌,机密数据和关键业务决策。

本博客主要探讨如何应用DevOps-style测试自动化DWH / BI和其他数据集成项目能保证高水平的数据quality-instilling信任是至关重要的成功的BI项目和最终驾驶他们的数字转换活动。

DevOps BI / DWH测试方法

DevOps,专注于自动化工具在整个开发生命周期,解决了一个巨大的挑战和DWH / BI开发人员“大数据”。今天的许多大数据和DWH / BI项目已经利用(或积极规划采取)敏捷和DevOps流程但与其说进行测试。DWH / BI项目,一般来说,目前不使用自动化测试工具在某种程度上,需要为项目的成功。也许这是因为他们认为所需的测试函数并不是商业化,或过于复杂和昂贵的内部发展。

当考虑需要什么测试确保数据完整性,重要的是要考虑到BI不仅仅是数据仓库(DWH)和ETL(提取转换负载)。服务之间的ETL过程,以及中间件和仪表盘可视化,也受到BI的管辖范围。这些层之间的信息和谈判协议复杂,需要大量的协调和测试。

DevOps帮助推动这一常数部署和测试。实现DevOps DWH / BI意味着自动化测试测试方法不同的源和目标数据集保持当前的数据。这可以是非常有益的在处理许多不同的数据源和充分一些项目,数百人。您的团队可以探测到错误之前威胁BI在生产中应用。此外,你将有更多的时间来达到生产之前解决问题。

为什么ETL自动化测试呢?

连续质量是一个系统的方法来实现质量目标的发展和它所支持的企业。在2018年软件测试自动化的魔力象限188金宝搏官网登录appGartner状态:“自动化测试工具是DevOps工具链的基本要素和推动者实现连续质量所需的方法成功的DevOps。”

测试自动化是同样必不可少的保证高水平的数据质量。我们测试越多,使用之前要将解决更多的bug。这是商业智能项目尤其重要。当用户不能相信数据,很可能BI解决方案本身不会被信任…和失败。

如前所述,ETL测试主要是手工进行的,这使得它非常劳动密集型和容易出错的过程。允许频繁的烟雾和ETL自动化测试回归测试没有用户干预和支持自动化测试在每一个新的数据库建立在旧代码。自动化不仅可以帮助执行测试;它还可以协助设计和管理它们。

实现自动化的ETL工具测试的决定取决于支持额外支出的预算来满足先进的检测需求。重要的是要记住,测试工具构建和维护在房子比任何测试自动化。最后,测试自动化将节省很多时间。此外,业务用户将欣赏BI可交付成果的质量和接受数据平台的数据解决方案为“事实的唯一版本。

图1:抽样的测试和验证,应考虑对大多数DWH / BI项目

了解最强烈推荐测试自动化规划步骤DWH / BI项目和ETL和DWH / BI验证最适合自动化,读完整的白皮书:BI / DWH测试:为什么自动化势在必行