建立数据仓库/ BI项目支持数据和解

编者按:韦恩Yaddow是一个独立的顾问拥有超过20年的经验主要数据迁移/集成/ ETL测试项目在组织包括摩根大通(J.P. Morgan Chase)、瑞士信贷(Credit Suisse)、标准普尔,AIG,奥本海默基金、IBM和Achieve3000。此外,韦恩告诉IIST(国际软件测试研究所)课程188金宝搏官网登录app数据仓库,ETL,数据集成测试。他继续带领众多ETL测试咨询和培训项目。你可以联系他wyaddow@gmail.com。

所有的数据信息系统必须设计一种允许透明和简单的数据和解期间和之后的工作流处理。即使不需要精确和定期和解的直接需求,必须设计和建造数据仓库的方法提供一个清晰的视图和不顺从的数据不一致。即使BI报告对象不需要高水平的准确性,最终用户必须知道/百分比的数据量不准确,并知道错误的原因。^[1]

策略对于一个成功的DW / BI的和解进程

利用数据仓库数据字典

成功的一个重要关键数据字典定义并同意商界,以确保成功
和解。如果主要业务术语的定义(如客户或产品)在数据源与数据仓库使用的定义不同,成功的数据和解会很成问题。然而,
数据字典是一个重要的援助。

保留原始数据从源系统中提取

原始数据来源中提取通常会需要和解。可能存在的情况
源系统中的原始数据不可用(不再存在)时需要和解。在这种情况下,原始数据提取保存在数据仓库(数据库或文件系统)成为一个关键元素的和解进程。

捕捉历史数据变化

需要捕捉的细节数据更改(更新和删除),和报告数据的变化(或至少可以轻易获得现金变化的历史),可以被低估的业务用户和数据仓库开发人员。如果数据更改不正确捕获,然后和解的数据变得非常有问题。

提供方便地访问历史数据变化

经常使用和解程序通常需要专门报告功能分析数据变化。对于大型数据
与经常变化的数据仓库,数据模型必须允许高效和容易接近所有的历史变化。

提供对ETL数据异常的访问

数据异常的设计,工作效率和解进程的数据,可能是最复杂的整体数据和解架构的一部分。设计依赖于许多因素相关数据异常的性质(参照完整性,数据结构,具体限制,等等)。

最重要的要求,良好的异常处理设计适合数据和解进程
是:

• 所有数据异常应该捕获-托管和非托管,保存,容易访问进行分析
• 异常处理应该组织成逻辑模块如界面异常,数据加载异常,数据验证异常,异常数据集成
• 异常应分类和标准化(如属性引起的异常验证、参照完整性异常,数据集成异常,重复)
• 容易捕获异常和过程之间的联系/创建这些异常数据转换
• 一个清晰的策略如何管理集成来自多个数据源的数据(例如,需求可能截然不同——从提供所有数据包括重复,只提供集成数据。
• 需要全面考虑如何继续(或中断)过程的非托管异常
• 清晰的业务规则如何管理异常后被俘

数据沿袭——的所有数据元素的起源

跟踪数据元素报告回来源通常是一项简单的任务,如果类似的数据仓库集成来自多个数据源的数据。这个任务变得非常复杂,如果数据经过多个转换或在异构数据仓库环境。高效的数据沿袭通常是一个强制性的要求合规或监管报告。

有效数据和解应该有能力识别源数据在任何点的数据流。

可用性的数据集成规则和约束

复杂的验证和数据集成规则实现的数据转换由业务用户往往被忘记或被误解。

重要的是数据集成、验证和异常规则很容易由业务用户访问(例如,从映射文件,在线报告评论,或在线文档)。

技术故障后恢复数据

数据仓库过程可能由于技术故障而中断。是一种很常见的情况,当一个冗长或复杂的数据转换程序被中断和数据只是不完全加载和转换。

在这种情况下,需要一个可靠的数据和解方法来确定从哪个点重新启动过程中,特定的数据需要重新加载或删除。

自动化数据和解和数据沿袭

自动化的数据和解(尤其是生产)在设计过程中需要进行彻底。它可能是有益的对于大型、复杂和异构数据仓库进行和解进程作为整个数据流的一个组成部分——从数据提取,数据加载和最终用户完成的报告和分析。

数据和解——工具集

考虑选择和解的数据工具:

• 一个和解系统和解迎合企业的需要
• 能够轻松地配置简单到复杂和解方案
• 减少周期时间和解在处理复杂的业务场景
• 处理能力高交易量在相对较短的时间
• 改善运营效率——和解工具允许业务用户应该监视、跟踪,并有效地调查和解进程

自动化数据和解过程与工具

和解没有有效的流程和工具始终是一个艰苦的、费时的过程,员工手动,或与多种工具,调查大量文件,表和电子表格分析每个数据合并和转换。这种方法效率低下,容易出错,不可持续的。

利用自动化工具功能,团队可以专注于数据和解结果而不是过程本身。这允许团队将注意力转移和增加价值更密集的地区,需要他们的专业和业务相关的专业知识,通常的形式分析和解决异常。

自动数据和解工具赋予团队消除重复,耗时和容易出错的手工任务。

外卖

大规模的技术灾害很少单因素的结果。大多数情况下,他们从一组缺陷的结果在软件开发和维护过程。188金宝搏官网登录app数据和解控件作为一个独立的额外的保护机制复杂的系统,因此应该被认为是一个必要的生产基础设施的一部分。

为了执行和解的测试中,一个需要数据和解工具。质量保证团队应该考虑实现的可能性测试工具能够运行被动数据一致性检查。

这些工具应该实现记住一个潜在的机会,他们还将在生产环境中使用。

引用

^[1]Rachid Mousine。”和解的数据仓库设计要点”,形成数据企业有限公司