数据质量治理的基本流程有哪些?

2个月前 (10-22)数字化转型

发现数据质量问题 > 定义数据质量规则 > 质量控制 > 质量评估 > 质量优化。

质量问题:列出了数据可能存在的问题,如完整性、唯一性、准确性、一致性、及时性、真实性和相关性等。

质量规则:定义了数据质量的规则和权重分配。这些规则用于评估数据的质量。比如针对字段设计质量规则(如手机号长度、日期格式、数值范围等)。
质量控制前置:在数据进入平台之前进行质量控制,包括数据录入、数据导入和集成接入。不符合规则的数据不会被允许进入平台。
质量评估:对已有数据进行质量评估,生成评估报告。评估过程中会识别出脏数据(即不符合质量要求的数据)并进行详细记录。
数据清洗:对识别出的脏数据进行自动清洗,以提高数据质量。针对复杂问题,触发预警,推送人工复核流程。
低分/异常预警:对质量评分低或异常的数据发出预警,以便及时处理。
质量情况统计:对数据质量情况进行统计分析,以便更好地理解和改进数据质量。