上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 管理作业 - 配置HBase/CloudTable目的端参数
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 管理作业 - 配置HBase/CloudTable目的端参数

文档简介:
本章节主要介绍配置HBase/CloudTable目的端参数。 作业中目的连接为配置HBase连接或配置CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如下表所示。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

作业中目的连接为配置HBase连接或配置CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如下表所示。

表 HBase/CloudTable作为目的端时的作业参数

参数名 说明 取值样例
表名 写入数据的HBase表名。如果是创建新HBase表,支持从源端拷贝字段名。单击输入框后面的按钮可进入表的选择界面。
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。
TBL_2
导入前清空数据 选择目的端表中数据的处理方式:
是:任务启动前会清除目标表中数据。
否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。
Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 ,
Rowkey冗余 可选参数,是否将选做Rowkey的数据同时写入HBase的列,默认值“否”。
压缩算法 可选参数,创建新HBase表时采用的压缩算法,默认为值“NONE”。
NONE:不压缩。
SNAPPY:压缩为Snappy格式。
GZ:压缩为GZ格式。
NONE
WAL开关 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。
是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。
否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。
匹配数据类型 是:源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据,会转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。
如果这几种类型中,有合并做rowkey的,则依然当字符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。
否:源端数据库中所有类型的数据,都会按照字符串写入HBase。
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部