数量质量概述
数据质量支持对常见的离线数据源（包括EDAP数据湖、Hive、Doris、Mysql、Oracle、SqlServer等）进行质量校验，从数据的完整性、唯一性、有效性、准确性、一致性、及时性六大维度进行质量监控，提供从质量规则制定、质量作业创建、重大问题告警、问题分析整改的全流程能力。内置45个质量规则，支持通过规则模板、自定义SQL模板快速创建质量任务，支持将质量任务与作业组进行关联调度，及时产生告警和阻塞链路，避免问题数据污染扩散。从多维度质量分析报表和质量绩效评分，提供作业实例查询、异常数据查看功能，帮助您迅速定位质量问题，完成质量管理闭环。
功能介绍
数据质量各个功能模块介绍如下：
|
|
描述 |
|
质量总览 |
数据质量总览页面为您展示数据质量全局配置和告警统计情况。包括：
|
|
规则引擎 |
数据质量支持自定义规则模板库，并对自定义规则进行统一管理。 也可以查看系统内置规则模板详情。 |
|
质量作业 |
数据质量支持按库表配置质量监控规则。 |
|
运维管理 |
在运维管理页面您可以通过库表查看历史校验记录和校验结果详情。 |
|
质量报告 |
数据质量报告页面为您展示库表的规则告警和评分情况。包括：
|
|
配置管理 |
数据质量配置管理页面您可以对异常数据存储路径进行配置。 |
名词解释
规则模板
数据质量的数据校验方法基于规则模板，规则模板定义了从特定维度和粒度来校验数据是否符合预期。
维度
为从不同角度评估质量问题，将规则模板分为六大维度，即完整性、唯一性、有效性、准确性、一致性、及时性。
粒度
从数据表角度看，将规则模板划分为三大粒度，即表级、字段级、跨字段级。
质量作业
数据质量的具体执行依赖质量作业配置，质量作业对数据表按规则粒度定义规则模板和触发告警条件。
告警
对于给定数据和对应规则模板，如果数据结果不符合规则模板预期，则触发告警，分为L1提示、L2警告、L3严重三级。
角色、职责与权限
数据质量管理流程：
|
角色 |
职责描述 |
功能权限 |
|
数据管理员 |
|
|
|
数据开发人员 |
|
|
