上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 数据架构 - 新建事实表
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 数据架构 - 新建事实表

文档简介:
本章节主要介绍新建事实表。 归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。

新建事实表并发布

  1. 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。

  1. 在数据架构控制台,单击左侧导航树中的“维度建模”,选择“事实表”页签。
  2. 在左侧主题树中选中一个主题,然后单击“新建”按钮。
  3. 在“新建事实表”页面,完成如下配置:

a. 设置“基本配置”参数:

下表为基本配置参数说明

参数名称 说明
所属主题 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。
表名称 只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。
表英文名称 只能以英文字母开头,支持英文字母、数字、下划线。
数据连接类型 在下拉框中选择对应的数据连接类型。
数据连接 在下拉框中选择对应的数据连接。维度建模建议使用统一的数据连接。
数据库 在下拉框中选择对应的数据库。
队列 DLI队列。该参数仅DLI连接类型有效。
Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。
表类型 DWS连接类型的表支持以下表类型:
DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。MRS_HIVE仅支持HIVE_TABLE类型。
DISTRIBUTE BY 该参数仅DWS连接类型有效,为非必选项。您需要先添加表字段,才能在此下拉列表中选择某一个表字段作为DISTRIBUTE BY字段,可选取多个字段。
DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。
REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。
HASH:采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Hash分布表,在读/写数据时可以利用各个节点的IO资源,大大提升表的读/写速度。一般情况下大表(1000000条记录以上)定义为Hash表。
资产责任人 根据下拉框选择对应的资产责任人,可以手动输入名字或直接选择已有的责任人。
描述 描述信息。支持的长度0~600字符。

b. 在“字段配置”区域,单击“新建”添加维度或度量字段。

  • 选择新建“维度”字段,可勾选一个或多个已创建的维度,单击“确定”后,会将维度的代理键字段添加到列表中;
  • 选择新建“度量”字段,需要新建度量字段。

字段配置参数请参见下表。字段配置完成后,单击字段后的可以调整字段的顺序。

字段配置参数

参数名称 说明
字段名称 只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。
维度属性的字段会自动显示所添加的维度的代理键名称,一般不需要修改。
字段英文名称 只能以英文字母开头,支持英文字母、数字、下划线。
数据类型 显示该维度的数据类型。
主键 选中时表示该字段为主键。
分区 选中时表示该字段为分区字段。
不为空 是否限制该字段不为空。
关联数据标准 如果您已创建数据标准,在“数据标准”列,单击按钮可以选择一个数据标准与字段相关联。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,将字段关联数据标准后,表发布上线后,就会自动生成一个质量作业,每个关联了数据标准的字段会生成一个质量规则,基于数据标准对字段进行质量监控,您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。
如果您还未创建数据标准,请参见新建数据标准进行创建。
关联维度 只有维度属性的字段需要绑定维度,度量属性的字段不需要进行此操作。
显示当前关联的维度名称。单击可以更换关联的维度。
角色 只有维度属性的字段被添加多次时需要设置角色区分,度量属性的字段不需要进行此操作。
当同一个维度被添加多次时,需要设置不同的角色来加以区分。
描述 描述信息。

c. 在“映射配置”页签,单击“新建映射”,配置映射参数。

下表为映射参数

参数名称 说明
映射名称 只能包含中文、英文字母、数字和下划线。
来源模型 在下拉列表中选择一个已创建的关系模型。如果未创建关系模型,请参见物理模型设计进行创建。
源表 选择数据来源的表,如果数据来源于一个模型中的多个表,可以单击表名后的按钮为该表和其他表之间设置JOIN。
1. 选择一种“JOIN方式”,“JOIN方式”从左到右依次表示left JOIN、right JOIN、inner JOIN、outer JOIN。
2. 在“JOIN字段”中设置JOIN条件,JOIN条件一般选择源表和JOIN表中含义相同的字段,单击按钮增加或删除JOIN条件。JOIN条件之间是and的关系。
3. 单击“确定”完成设置。
4. 设置JOIN后,如果想删除JOIN表,单击所需删除的表名后的按钮就可以删除该JOIN表。
字段映射 为来源于当前映射的字段,依次选择一个含义相同的源字段。如果表字段来源于多个模型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。
  1. 单击“发布”,提交事实表的发布审核。
  2. 等待审核人员审核事实表。

审核通过后,事实表就会在数据库中自动创建。

  1. 返回“维度建模 > 事实表”页面,在列表中找到刚发布的事实表,在“同步状态”一列中可以查看事实表的同步状态。
  • 如果同步状态均显示成功,则说明事实表发布成功,事实表在数据库中已创建成功。
  • 如果同步状态中存在失败,可单击该事实表所在行的“更多 > 发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以在事实表页面勾选该事实表,再单击列表上方的“更多 > 同步”尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。

管理事实表

事实表创建好之后,进入数据架构的“维度建模 > 事实表”页面,您可以对事实表进行编辑、发布、下线、查看发布历史或删除操作。

编辑事实表

a. 在事实表列表中,找到需要编辑的事实表,单击“编辑”,进入编辑事实表页面。

b. 根据实际需要编辑相关内容。

c. 单击“保存”,保存设置的信息;单击“发布”,发布设置的信息。

发布事实表

a. 在事实表列表中,勾选需要发布的事实表,单击“发布”按钮,弹出“批量发布”对话框。

b. 在下拉菜单中选择审核人。

c. 单击“确认提交”。

查看发布历史

a. 在事实表列表中,找到所需要的事实表,在右侧单击“更多 > 发布历史”,将显示“发布历史”页面。

b. 在“发布历史”中,您可以查看事实表的发布历史、版本对比信息以及发布日志。

如果“发布日志”中有错误日志,说明发布失败。您可以单击“重新同步”将表同步到DataArts Studio的其他模块中。

关联质量规则

a. 在事实表列表中,勾选所需要的关联质量规则事实表,在上方单击“关联质量规则”,弹出“关联质量规则”对话框。

b. 在“关联质量规则”对话框中,您可以批量给事实表的字段添加规则并关联到字段。

c. 单击“确定”。

预览SQL

a. 在事实表列表中,找到所需要的事实表,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。

b. 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。

下线事实表

a. 在事实表列表中,勾选需要下线的事实表,单击“下线”,系统弹出“批量下线”对话框。

b. 在下拉菜单中选择审核人。

c. 单击“确认提交”。

说明
  • “下线”及“删除”事实逻辑表的前提是无依赖引用,例如事实表未被原子指标等使用时,才能进行删除操作。

删除事实表

如果您不再需要某一个事实表,您可以将它删除。当事实表处于待发布、已发布或待下线状态时,无法删除。

a. 在事实表列表中,勾选需要删除的事实表,在列表上方选择“更多 > 删除”,系统弹出“删除”对话框。

b. 单击“是”。

导入事实表

可通过导入的方式将事实表批量快速的导入到系统中。

a. 在事实表上方,单击“更多>导入”,进入“导入配置”页签。

b. 下载事实表导入模板,编辑完成后保存至本地。

c. 选择是否更新已有数据。

说明

如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。

  • 不更新:当数据重复时,不会替换系统中原有的数据。

  • 更新:当数据重复时

系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。

系统中的原有数据为发布状态,则会生成下展数据。

d. 单击“添加文件”,选择编辑完成的导入模板。

e. 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。

f. 单击“关闭”。

导出事实表

可通过导出的方式将事实表导出到本地。在事实表上方,单击“更多>导出”,即可将系统中的事实表导出到本地。

事实表关联质量规则

  1. 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
  2. 单击“事实表”页签,进入事实表页面。
  3. 在事实表列表中,勾选需要关联质量规则的事实表。单击“关联质量规则”。

  1. 在弹出的页面中配置关联质量规则参数。配置完成单击确定。
  • 更新已有规则 :若勾选此项,新添加的规则会覆盖旧规则。
  • 匹配字段 :此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。
  • Where条件 :可依据用户输入的where条件对字段进行过滤。
  • 生成异常数据 :开启此项,表示异常数据讲按照配置的参数存储到规定的库中。
  • 数据库或Schema :开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema。
  • 表前缀 :开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。
  • 表后缀 :开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。
  • 添加规则 :单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。
  • 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。在此处的“关联质量规则”对话框中,每个质量规则的“告警参数”以按钮形式列出。

事实表新建字段

  1. 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
  2. 单击“事实表”页签,进入事实表页面。
  3. 在事实表列表中,查找需要新建字段的表名称,单击其“编辑”,进入编辑页。
  4. 单击字段配置处的新建,在展开的下拉框选择新建字段类型,并配置相关参数。

  1. 配置完成后,单击“确定”,完成事实表新建字段。

事实表字段关联数据标准

  1. 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
  2. 单击“事实表”页签,进入事实表页面。
  3. 在事实表列表中,单击需要关联数据标准的事实表名称。
  4. 在事实表的详情页的表字段列表中,查找需要关联数据标准的字段,单击其所属的,配置单个表字段关联数据标准。数据标准的来源请参考新建数据标准。

  1. 配置完成后,单击“确定”,完成事实表字段关联数据标准。

image.png

事实表字段单个关联质量规则

  1. 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
  2. 单击“事实表”页签,进入事实表页面。
  3. 在事实表列表中,单击需要关联质量规则的事实表名称。
  4. 在事实表的详情页的表字段列表中,单击配置单个表字段关联质量规则。

  1. 配置完成后,单击“确定”,完成事实表字段关联质量规则。

事实表字段批量关联质量规则

  1. 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
  2. 单击“事实表”页签,进入事实表页面。
  3. 在事实表列表中,单击需要关联质量规则的事实表名称。
  4. 在事实表的详情页的表字段列表中,勾选需要关联质量规则的表字段,单击关联质量规则。

  1. 在弹出的界面中添加规则,完成规则参数配置。


  1. 配置完成后,单击“确定”,完成事实表字段批量关联质量规则。


相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部