完整数据质量方法（CDQM）：提升数据质量的有效途径

# 完整数据质量方法（CDQM）：提升数据质量的有效途径 ## 1. 引言 在当今数字化时代，数据质量对于组织的运营和决策至关重要。为了实现数据质量的有效提升，需要一种全面且可行的方法。完整数据质量方法（CDQM）就是这样一种方法，它在数据质量提升的完整性和实际可行性之间取得了合理的平衡。 ## 2. CDQM概述 CDQM主要关注数据库中的结构化数据，其整体策略将测量和改进活动与业务流程以及组织成本紧密联系起来。该方法分为三个阶段，每个阶段包含若干步骤，具体如下： ### 2.1 CDQM的阶段和步骤 | 阶段 | 步骤 | 描述 | | --- | --- | --- | | 阶段1：状态重建 | 1 | 重建组织间最相关数据库和数据流的状态与含义，构建数据库 + 数据流/组织矩阵 | | | 2 | 重建组织执行的最相关业务流程，构建流程/组织矩阵 | | | 3 | 为每个宏观流程或相关流程组，重建规范和组织规则 | | 阶段2：评估 | 4 | 检查与内部和最终用户服务相关的主要问题，确定数据质量低下导致的问题原因 | | | 5 | 确定相关的数据质量维度和指标，测量数据库和数据流的数据质量，找出关键区域 | | 阶段3：选择最优改进流程 | 6 | 为每个数据库和数据流设定新的数据质量水平，以提高流程质量并降低成本 | | | 7 | 构思流程再造活动并选择数据质量活动，将其与涉及数据质量改进目标的数据库和数据流集群相关联 | | | 8 | 为数据质量活动选择最优技术 | | | 9 | 在数据/活动矩阵中连接交叉点，形成合理的候选改进流程 | | | 10 | 计算每个改进流程的近似成本和收益，选择最优流程 | ### 2.2 CDQM各阶段的目标 - **阶段1**：重建组织单元、流程、服务和数据之间最重要的关系。 - **阶段2**：设定新的目标质量维度，评估降低的成本和新的收益。 - **阶段3**：找到最优的改进流程，即具有最佳成本效益的活动序列。 ## 3. 阶段1：状态重建 ### 3.1 重建数据状态 在这一步骤中，需要重建组织或组织单元与所使用和交换的数据之间最相关关系的模型。可以用两个矩阵来表示这些关系： - **数据库/组织矩阵**：展示最相关数据库的创建和使用组织。 | 数据库/组织 | 数据库1 | 数据库2 | ……… | 数据库n | | --- | --- | --- | --- | --- | | 组织1 | 创建 | 使用 | 使用 | | | 组织2 | 使用 | | | | | 组织m | 创建 | 创建 | | | - **数据流/组织矩阵**：展示最相关数据流的提供者和消费者组织。 | 数据流/组织 | 数据流1 | 数据流2 | ……… | 数据流n | | --- | --- | --- | --- | --- | | 组织1 | 提供者 | 消费者 | 消费者 | | | 组织2 | 消费者 | 提供者 | | | | 组织m | 消费者 | 提供者 | 消费者 | | ### 3.2 重建业务流程 此步骤聚焦于流程及其与组织单元的关系。对于每个流程，需要确定其所有者和参与执行的单元，并将这些交叉关系表示在流程/组织矩阵中。 | 流程/组织 | 流程1 | 流程2 | ……… | 流程n | | --- | --- | --- | --- | --- | | 组织1 | 所有者 | 参与 | | | | 组织2 | 参与 | 所有者 | | | | 组织m | 参与 | 所有者 | 参与 | | ### 3.3 重建宏观流程和规则 深入分析组织中流程的结构和最终目标，以及规范和规定该结构的法律和组织规则。相关特征可通过宏观流程/规范 - 服务 - 流程矩阵表示。 | 宏观流程 | 宏观流程1 | 宏观流程2 | ……… | 宏观流程m | | --- | --- | --- | --- | --- | | 规范/组织规则 | 规范1 | 规范2 | 规范3和规范4 | | | 服务(s) | S1和S5 | S2和S5 | S3和S4 | | | 流程1 | X | | | | | 流程2 | X | | | | | 流程3 | X | | | | | 流程4 | X | | | | | ... | | | | | | 流程n | X | | | | ## 4. 阶段2：评估 ### 4.1 检查与用户的问题 通过采访内部和最终用户，了解数