上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 使用教程 - HBase/CloudTable增量迁移
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 使用教程 - HBase/CloudTable增量迁移

文档简介:
本章节主要介绍HBase/CloudTable增量迁移。 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。

在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。

详见下图:HBase时间区间

  • 起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
  • 终止时间(不包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间以前的数据。

这2个参数支持配置为 时间宏变量使用解析,例如:

  • 起始时间配置为 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 时,表示只导出昨天以后的数据。
  • 终止时间配置为 ${dateformat(yyyy-MM-dd HH:mm:ss)} 时,表示只导出当前时间以前的数据。

这2个参数同时配置后,CDM就只导出前一天内的数据,再将该作业配置为每天0点执行一次,就可以增量同步每天新生成的数据。

相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部