上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 管理作业 - 配置HBase/CloudTable源端参数
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 管理作业 - 配置HBase/CloudTable源端参数

文档简介:
本章节主要介绍配置HBase/CloudTable源端参数。 作业中源连接为配置HBase连接或配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如下表所示。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

作业中源连接为配置HBase连接或配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如下表所示。

说明
  • CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。

  • 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。

  • 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。

表 HBase/CloudTable作为源端时的作业参数

参数名 说明 取值样例
表名 导出数据的HBase表名。
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。
TBL_2
列族 可选参数,导出数据所属的列族。 CF1&CF2
切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。
Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 l
起始时间 可选参数,起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
该参数支持配置为时间宏变量,使用时间宏变量和定时任务配合,可以实现定期同步新增数据。
2019-01-01 20:00:00
终止时间 可选参数,终止时间(不包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间以前的数据。
该参数支持配置为时间宏变量。
2019-02-01 20:00:00
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部