数据仓库测试、ETL测试和BI测试:有什么区别吗?

编者按:韦恩Yaddow是一个独立的顾问拥有超过20年的经验主要数据迁移/集成/ ETL测试项目在组织包括摩根大通(J.P. Morgan Chase)、瑞士信贷(Credit Suisse)、标准普尔,AIG,奥本海默基金、IBM和Achieve3000。此外,韦恩告诉IIST(国际软件测试研究所)课程188金宝搏官网登录app数据仓库,ETL,数据集成测试。他继续领导很多ETL测试和指导项目咨询的基础上。你可以联系他wyaddow@gmail.com。

指商业智能质量保证,我们经常发现数据仓库(DWH)测试和ETL测试是交替使用,好像他们是同一个。

数据仓库可以被定义为一个集合的数据可能包括一个组织的所有数据。他们来到存在由于更从高级管理层关注的数据以及数据驱动的决策(商业智能)。历史的联机事务处理(OLTP)数据,结合连续更新当前数据的分析和预测,实现支持管理决策。由于许多组织决策依赖于数据仓库,数据应该是最高的质量。

确保组织使智能、准确决策,测试应该计划和执行非常有效地避免错误数据被注入的数据库,那么最终混淆高级管理层的决策过程。

本文总结了三个测试策略通常与商业智能相关质量保证:ETL测试,数据仓库/ BI基础设施测试和BI报告应用程序/测试。这样做,它旨在明确区分这三个主要类别的测试。大量研究已经证明这些策略如何提高生产率并确保准确的数据流进最后的仓库和BI报告。以下这些方法是一种可靠的方法,以防止数据完整性问题破坏数据仓库的业务价值。

什么是ETL测试?

ETL是整体的一个组成部分,测试DWH测试。数据仓库是使用数据抽取、数据转换和数据加载。ETL过程从来源中提取数据,根据BI报告需求转换数据,然后将数据装载到目标数据仓库。图1显示了ETL过程所涉及的通用组件。

图1:ETL测试数据暂存、数据清理和DWH负载

在选择数据来源,数据ETL程序解决问题,将数据转换成一种通用的模型适合研究和分析,并编写数据分段和清理地方那么最后到目标数据仓库。在四个组件呈现在图1中,ETL过程的设计和实现需要最大的努力开发生命周期。ETL过程存在许多挑战,比如从多个异构数据源提取数据涉及到不同的数据模型,检测和修复各种错误/问题数据,然后将数据转换成不同的格式相匹配的目标数据仓库的需求。

数据仓库收集和集成来自不同数据源的数据,存储大量的长期分析所需的记录。数据仓库的实现使用不同的数据模型(如维或归一化模型),和技术(如数据库管理系统、数据仓库设备(DWA)和云数据仓库设备)。

ETL测试包括不同类型的测试的三个不同的流程(提取、转换、加载)。

数据提取测试例子

数据提取测试可能会检查:

1. 数据提取代码授予安全访问每个源系统
2. 完成提取审计日志和时间戳的更新
3. 可以从每个所需的源字段中提取数据
4. 所有提取逻辑为每个源系统是必需的
5. 源来提取目标工作的完整性和准确性
6. 所有的抽取,在预期的时间内完成

数据转换测试例子

数据转换测试可能会检查:

1. 交易流程是将数据转换为预期的规则和逻辑
2. 一次性转换历史初始加载工作
3. 详细和聚合数据集创建成功
4. 事务审计日志和记录时间戳
5. 没有数据丢失或腐败的数据在转换
6. 转换是在预期的时间内完成

数据加载测试例子

数据加载测试可能会检查:

1. 没有数据丢失或装运过程中腐败
2. 所有加载期间转换工作
3. 数据集在分段加载目标工作不会造成数据丢失
4. 增量数据加载与变化数据捕获
5. 事务审计日志和记录时间戳
6. 在预期的时间内完成

DWH / BI基础设施测试是什么?

DWH几个组件的开发和测试通常不ETL工具的组件或存储过程中使用ETL过程,因此,测试这些过程将完成ETL独立的测试。

例如,这包括使用工具来配置数据源的格式和内容的问题,检查源数据丢失/记录,DWH安全等等。这些类别的测试可以被认为是“DWH基础设施验证。”

“DWH / BI的基础设施“一般包括:

• 硬件组件包括存储和内存
• 操作系统
• 实用程序,etl和BI应用程序的支持
• 变化数据捕获(CDC)操作
• 网络和网络软件188金宝搏官网登录app
• OLTP数据库
• 数据清理工具
• 元数据应用服务器
• OLAP BI报告的数据
• 自动化测试工具
• 数据库管理系统(dbms)
• 更多的…

DWH / BI基础设施组件必须进行测试(在其他事物之中)可伸缩性、安全性、可靠性和性能(例如,负载测试和压力测试)。DWH / BI作为一个整体基础设施支持数据仓库数据运动如图2所示。

图2:数据仓库基础设施支持所有DWH, ETL和BI功能

数据仓库基础设施基本上支持数据仓库环境的许多技术。

什么是BI报告应用程序/测试?

前端BI应用程序通常是桌面、web和移动应用程序和/或报告。它们包括分析和决策支持工具和在线分析处理(OLAP)报告生成器。这些应用程序方便最终用户来构建复杂的查询请求信息从数据warehouses-without需要复杂的编程技能。

最终用户报告是任何商业智能项目的重要组成部分。报告代码可以执行SQL查询数据存储在数据集市和/或操作DW表,然后在所需的格式显示结果(在web浏览器或客户端应用程序接口)。

为每种类型的报告,有几种类型的测试被认为是:

• 验证跨域和交叉报告值
• 验证报告内的交叉引用
• 初始化验证的报告
• 验证输入的用户选项和相关输出
• 验证SQL查询用于提取数据报告
• 验证内部和用户定义的类型
• 确认没有无效数据报告字段
• 验证最大和最小字段值
• 验证有效的合并数据
• 更多的…

测试类别DWH、ETL和BI报告测试

以下图形列表类别的测试,应该考虑DWH和BI报告测试。从这个列表中,那些计划DWH ETL / BI测试可以选择和优先测试的类型/在每个阶段应该执行的测试在一个项目。

(见全尺寸图形)