上云无忧 > 文档中心 > 天翼云云搜索服务使用教程 - 使用Kibana或API导入数据到Elasticsearch
云搜索服务
天翼云云搜索服务使用教程 - 使用Kibana或API导入数据到Elasticsearch

文档简介:
本章节主要介绍如何使用Kibana或API导入数据到Elasticsearch。 云搜索服务支持使用Kibana或者API将数据导入到Elasticsearch中,数据文件支持JSON、CSV等格式。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

云搜索服务支持使用Kibana或者API将数据导入到Elasticsearch中,数据文件支持JSON、CSV等格式。

使用Kibana导入数据

在导入数据之前,您可以使用Kibana接入集群。如下操作步骤介绍如何使用POST命令导入数据。

1.登录Kibana Console页面,详细操作请参见接入集群章节中的 在管理控制台通过Kibana接入集群。

首次登录时,需要在Kibana的左侧导航中选择“Dev Tools”,单击“Get to work”,进入Console界面。非首次登录可单击“Dev Tools”直接进入Kibana Console页面。

2.(可选)在Console界面,执行命令创建待存储数据的索引,并指定自定义映射来定义数据类型。

如果待导入数据的集群已存在可用的索引,则不需要再创建索引;如果待导入数据的集群不存在可用的索引,则需要参考如下示例创建索引。

例如:在Console界面,执行如下命令,创建索引“my_store”,并指定自定义映射来定义数据类型。

7.x之前版本

PUT/my_store 
{ 
    "settings": { 
        "number_of_shards": 1 
    }, 
    "mappings": { 
        "products": { 
            "properties": { 
                "productName":{ 
                    "type":"text" 
                }, 
                "size": { 
                    "type":"keyword" 
                } 
            } 
        } 
    } 
}复制

7.x之后版本

PUT/my_store 
{ 
    "settings": {  
"number_of_shards": 1 
    }, 
    "mappings": { 
        "properties": { 
            "productName": { 
                "type":"text" 
            }, 
            "size": { 
                "type":"keyword" 
            } 
        } 
    } 
}复制

3.在Console界面的右侧文本框中输入要导入数据的POST命令,以导入一条数据为例,执行如下命令。

7.x之前版本

POST/my_store/products/_bulk  
{"index":{}}  
{"productName":"Latest art shirts for women in 2017 autumn","size":"L"}复制

7.x之后版本

POST/my_store/_bulk   
{"index":{}}   
{"productName":"Latest art shirts for women in 2017 autumn","size":"L"}复制

返回结果如下图所示,当返回结果信息中“errors”字段的值为“false”时,表示导入数据成功。

详见下图:返回消息

使用API导入数据

使用bulk API通过cURL命令导入数据文件,如下操作以JSON数据文件为例。

说明

使用API导入数据文件时,建议导入的数据文件大小不能超过50MB。

1.登录即将接入集群的弹性云主机。

接入集群的详细操作指导请参见接入集群章节中的 在同一VPC内的弹性云主机,直接调用Elasticsearch API。

2.执行如下命令,导入JSON数据。

其中, { Private network address and port number of the node } 需替换为集群中节点的内网访问地址和端口号,当该节点出现故障时,将导致命令执行失败。如果集群包含多个节点,可以将 { Private network address and port number of the node } 替换为集群中另一节点的内网访问地址和端口号;如果集群只包含一个节点,则需要将该节点修复之后再次执行命令进行导入数据。test.json为导入数据的json文件。

curl -X PUT "http://{Private network address and port number of the node} /_bulk" -H 'Content-Type:
 application/json' --data-binary @test.json复制
说明
其中,-X参数的参数值为命令,如“-X PUT”,-H参数的参数值为消息头,如“-H 'Content-Type: application/json' --data-binary @test.json”。添加的-k参数时,请勿将-k参数放置在参数与参数值之间 。

示例 : 将“testdata.json”数据文件中的数据导入至Elasticsearch集群,此集群未进行通信加密,其中一个节点内网访问地址为“192.168.0.90”,端口号为“9200”。其中testdata.json文件中的数据如下所示:

{"index":{"_index":"my_store","_type":"products"}}
{"productName": "2019秋装新款文艺衬衫女装","size":"M"} 
{"index":{"_index":"my_store","_type":"products"}}
{"productName": "2019秋装新款文艺衬衫女装","size":"L"}复制

导入数据的操作步骤如下所示:

a. 可执行以下命令,创建my_store索引。

7.x之前版本

curl -X PUT http://192.168.0.90:9200/my_store -H 'Content-Type:application/json' -d ' 
 { 
   "settings": {  
     "number_of_shards": 1  
   }, 
   "mappings": {  
     "products": {  
       "properties": {  
         "productName": {  
           "type":"text"  
           },  
         "size": {  
           "type":"keyword"  
         }  
       } 
     } 
   } 
 }'复制

7.x之后版本

curl -X PUT http://192.168.0.90:9200/my_store -H 'Content-Type:application/json' -d ' 
{ 
    "settings": { 
        "number_of_shards": 1 
    }, 
    "mappings": { 
        "properties": { 
            "productName": { 
                "type": "text" 
            }, 
            "size": { 
                "type":"keyword" 
            } 
        } 
    } 
}'复制

b. 执行以下命令,导入testdata.json文件中的数据。

curl -X PUT "http://192.168.0.90:9200/_bulk" -H 'Content-Type: application/json' --data-binary @testdata.json
相似文档
  • 本章节主要介绍云搜索服务Elasticsearch使用建议。 Elasticsearch是开源搜索引擎,在深入使用Elasticsearch搜索引擎过程中,积累了一些经验和技巧,建议用户在使用云搜索服务时,作为参考。
  • 章节主要介绍如何使用自定义词库。 分词器说明: 在Elasticsearch搜索引擎中使用分词词库时,有两种用法: ik_max_word:会将文本做最细粒度的拆分,比如会将“昨夜西风吹折千林梢”拆分为“昨夜西风,昨夜,西风,吹折千林梢,吹折,千林梢,千,林,折千林,千林,吹”,会穷尽各种可能的组合。
  • 本章节主要介绍云搜索服务配置自定义词库。 用户在使用搜索引擎时,针对中文,一些特殊的词语在分词的时候也能够被识别。 例如,想根据公司名称来查询;或者想根据网络上的某个流行词来查询,如“喜大普奔”。
  • 本章节主要介绍云搜索服务的集群状态和存储容量状态说明。 在云搜索服务管理控制台中,直接展现当前云搜索服务中已有集群的状态以及集群存储容量状态。
  • 本章节主要介绍云搜索服务的集群列表。 集群列表显示云搜索服务所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部