上云无忧 > 文档中心 > 百度智能云数据湖管理与分析平台EasyDAP数据质量 - 质量报告
数据湖管理与分析平台EasyDAP
百度智能云数据湖管理与分析平台EasyDAP数据质量 - 质量报告

文档简介:
质量评价指标体系: 1、评价对象 评价对象分为EDAPDataLake和其他数据源链接(MySql、Hive等) EDAP的评价对象包括主题、库、表、字段; 其他数据源的评价对象包括数据源链接、库、表、字段;
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

质量评价指标体系

1、评价对象

评价对象分为EDAPDataLake和其他数据源链接(MySql、Hive等)

  • EDAP的评价对象包括主题、库、表、字段;
  • 其他数据源的评价对象包括数据源链接、库、表、字段;

2、评分

默认采用百分制,满分为100分,75-100 优秀、50-75 良好、25-50 合格、0-25 不合格;

3、计算公式

字段评分 = ∑ 规则设置率评分 * 评分系数 / 规则的数量;

  • 规则设置率评分:未设置规则,得25分,每设置一项规则,加25分,加满为止(设置3项即可得满分);
  • 评分系数:无告警为1,提示为0.75,告警为0.5,严重为0.25;

表评分 = ∑ 表所有字段的评分 / 字段的数量;

库评分 = ∑ 库下所有表的评分 / 表的数量;

主题/数据源链接评分 = ∑ 主题/数据源链接下所有库的评分 / 库的数量;

查看质量报告

操作步骤

  1. 登录并进入百度智能云数据湖管理与分析EasyDAP。
  2. 在左侧导航栏,单击数据治理-数据质量。
  3. 单击上方质量报告,从左侧各数据源类型中选择一个,可查看对应主题/源连接或库的评分。

名称

描述

如果选择的是一个主题/源连接,则显示当前主题/源连接的整体得分,即所有库评分的平均值。如果选择的是一个数据库,则显示当前数据库的整体得分,即库下所有表评分的平均值。

历史得分趋势

选中的主题/源连接或者库的历史得分趋势。

库评分、表评分

如果选择的是一个主题/源连接,则显示当前主题/源连接的所有库的得分详情。如果选择的是一个数据库,则显示当前数据库的所有表的得分详情。

配置规则数是当天该库或表已有的所有规则总数。告警规则数和告警状态数量是仅当天的告警数据统计,不包含历史告警数量。


报告导出

点击库评分或表评分下的导出报告,可以导出当前评分详情为word格式。word内容如下:

报告更新周期:

质量报告按周期定时更新,默认更新周期为4小时。

备注说明:

  • 如果库下没有一个表设置质量规则,则评分全部为默认25分。
  • 对于设置了质量规则的表评分,使用最近一次运行完的实例结果计算字段评分。如果运行一次后没有再运行该表相关的质量任务,该表的评分会一直为本次运行结果计算出的评分。
  • 质量报告是周期性更新的,对于当天最后一个周期内执行的质量任务,可能会第二天才更新。
相似文档
  • 异常数据存储路径配置。 操作步骤: 登录并进入百度智能云数据湖管理与分析EasyDAP。 在左侧导航栏,单击数据治理-数据质量。 单击上方配置管理,可以进入数据质量配置管理页面。 单击修改,选择一个存储路径,然后单击保存即可完成配置修改。
  • 点击【数据源查询】,进入数据源查询界面。 在数据源查询界面中,能够显示平台中【数据管理-数据源】中创建的HIVE数据源。 双击某个数据源链接,打开数据源下的库表信息。双击某张表能够显示表的字段信息。
  • 点击【SQL分析】,数据名称,可以创建新的SQL分析编辑框。 在编辑框内,可以输入SQL语句进行数据分析。选择引擎和计算资源之后,点击【执行】,使用选择的资源进行数据分析操作。结果会显示在【执行结果】tab页面。在【执行历史】中可以显示每次执行的历史数据。在【执行分析】中可以显示每次执行的分析数据。
  • 数据共享场景概述: 数据共享是将企业中的数据通过服务化的方式发布出去,提供给数据使用方调用查询。EDAP 数据共享通过 SQL 方式将数据发布为 HTTP API 接口,可以一键发布 API 数据共享服务到 API 网关,API 网关提供了 HTTP 访问、维护、监控等能力。
  • API网关准备: 开通API网关: 数据共享服务需通过API网关转发到 EDAP 的,因此需要确保当前用户或子用户已经开通了 API 网关服务的权限。目前在完成实名认证后即可开通,开通 API网关。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部