确保数据完整性DWH / BI系统与3类型的测试

1。验证数据源/目标需求和模式设计

需求和模式测试确认每个数据组件的设计在多大程度上匹配的有针对性的业务需求。

这个过程应该包括的能力验证:

1. 业务和技术需求源和目标数据
2. 数据完整性规范技术上实现(DBMS、文件系统、文本文件,等等)。
3. 数据模型为每个数据实现模式
4. 源到目标数据映射数据加载到DWH目标。源和相关目标的例子包括源数据的加载阶段目标以及分段数据加载到数据仓库或数据集市的目标

模式的质量代表的能力模式充分和有效项目信息/数据。模式在这个定义指的是数据仓库的模式无论它是一个概念,逻辑或物理模式,明星,星座,或归一化模式。然而,这个定义扩展到包括模式中使用的所有数据存储整个数据仓库系统包括数据来源、分期、操作数据存储,数据集市。它有利于评估模式在数据仓库的设计阶段质量。

检测、分析和纠正模式缺陷将促进DWH / BI系统的质量。模式质量可以从不同的维度,即模式的正确性,模式完整性、模式整合模式完整性、可解释性,温顺,可理解性,简洁的表示。

2。源和目标数据完整性测试

一个设计得当的ETL系统:

• 从源系统中提取数据
• 执行数据质量和一致性的标准
• 符合数据,以便数据来源可以共同使用
• 提供数据的格式,使应用程序开发人员可以构建应用程序

数据仓库关注ETL过程完整性测试和评估。各种各样的功能性和非功能性测试方法应用于测试ETL过程的逻辑。目标是验证有效和无效条件正确处理所有源和目标数据,确保主键和外键(即完整性。参照完整性),数据转换的正确性,数据清理和应用程序的业务规则。

3所示。测试BI报告数据的完整性

BI应用程序提供一个接口,帮助用户与后端数据交互。这些报告的设计是至关重要的理解和规划数据完整性测试。

复杂业务规则通常应用于原始数据然后加载到数据仓库。然后数据仓库信息发送的形式BI仪表板/报告和企业高管可以自信地做出重要的决定。所以有必要确保数据仓库数据(BI进一步处理应用程序)是准确的。那些进行BI应用程序测试必须准备回答业务团队的问题:“这些报告反映了DW数字正确吗?如果是这样的话,或者如果不是这样的,我们怎样才能确保我们正在寻找正确的数据做出正确的决策”?

BI报告测试的传统方法有几个缺点。时间通常是需要识别和修复在BI报告发现的问题。数字BI仪表板通常聚合到一个高水平的降低DW的粒度。这个原始数据往往是改变在每个迭代通过仪表板的旅程。从BI仪表板选择任何值,然后努力调和数据仓库数据表,是一个复杂和冗长的过程。

一个数据完整性测试框架和一个清单

DWH / BI数据完整性验证这里分类如下。图2显示了一个验证分类框架的技术适用于源和目标数据仓库的ETL过程和BI报告的应用程序。

图2:框架DWH / BI数据完整性验证