上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 管理作业 - 配置云搜索服务目的端参数
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 管理作业 - 配置云搜索服务目的端参数

文档简介:
本章节主要介绍配置云搜索服务目的端参数。 作业中目的连接为配置Elasticsearch/云搜索服务(CSS)连接,即将数据导入到云搜索服务时,目的端作业参数如下表所示。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

作业中目的连接为配置Elasticsearch/云搜索服务(CSS)连接,即将数据导入到云搜索服务时,目的端作业参数如下表所示。

表 Elasticsearch作为目的端时的作业参数

参数名 说明 取值样例
索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index
类型 待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。 type
管道ID 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 pipeline_id
定时创索引 对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引:
每小时:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”。
每天:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”。
每周:每周周一的零点零分创建新索引,新索引的命名格式为“索引名+年+周”,例如“index201842”。
每月:每月一号零点零分创建新索引,新索引的命名格式为“索引名+年+月”,例如“index201812”。
不创建:选择此项表示不创建定时索引。
从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。
每小时
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部