上云无忧 > 文档中心 > 天翼云翼MapReduce管理数据文件
翼MapReduce
天翼云翼MapReduce管理数据文件

文档简介:
用户通过“文件管理”页面可以在未启用Kerberos认证的分析集群进行文件夹创建、删除,文件导入、导出、删除操作。 MRS集群处理的数据源来源于OBS或HDFS,OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

用户通过“文件管理”页面可以在未启用Kerberos认证的分析集群进行文件夹创建、删除,文件导入、导出、删除操作。

MRS集群处理的数据源来源于OBS或HDFS,OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据,客户可以基于管理控制台Web界面和OBS客户端对数据进行浏览、管理和使用。


导入数据

MRS目前只支持将OBS上的数据导入至HDFS中。上传文件速率会随着文件大小的增大而变慢,适合数据量小的场景下使用。

支持导入文件和目录,操作方法如下:

1、登录MRS管理控制台。

2、选择“集群列表 > 现有集群”,选中一集群并单击集群名进入集群信息页面。

3、单击“文件管理”,进入“文件管理”页面。

4、选择“HDFS文件列表”。

5、进入数据存储目录,如“bd_app1”。

“bd_app1”目录仅为示例,可以是界面上的任何目录,也可以通过“新建”创建新的文件夹。

6、单击“导入数据”,正确配置HDFS和OBS路径。 

配置OBS或者HDFS路径时,单击“浏览”并选择文件目录,然后单击“确定”。

(1)OBS路径

必须以“s3a://”开头。

  • 不支持导入KMS加密的文件或程序。

  • 不支持导入空的文件夹。

  • 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>,<'$*?\特殊字符。

  • 目录和文件名称不能以空格开头或结尾,中间可以包含空格。

  • OBS全路径长度小于等于1023字符。

(2)HDFS路径

  • 必须以“/user”开头。

  • 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>,<'$*?\:特殊字符。

  • 目录和文件名称不能以空格开头或结尾,中间可以包含空格。

  • HDFS全路径长度小于等于1023字符。

  • “HDFS文件列表”中显示的HDFS父目录,将默认显示在HDFS路径文本框中。

7、单击“确定”。

文件上传进度可在“文件操作记录”中查看。MRS将数据导入操作当做Distcp作业处理,也可在“作业管理 > 作业”中查看Distcp作业是否执行成功。

导出数据

数据完成处理和分析后,您可以将数据存储在HDFS中,也可以将集群中的数据导出至OBS系统。

支持导出文件和目录,操作方法如下:

1、登录MRS管理控制台。

2、选择“集群列表 > 现有集群”,选中一集群并单击集群名进入集群基本信息页面。

3、单击“文件管理”,进入“文件管理”页面。

4、选择“HDFS文件列表”。

5、进入数据存储目录,如“bd_app1”。

6、单击“导出数据”,配置OBS和HDFS路径。

 配置OBS或者HDFS路径时,单击“浏览”并选择文件目录,然后单击“确定”。

(1)OBS路径

  • 必须以“s3a://”开头。

  • 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>,<'$*?\特殊字符。

  • 目录和文件名称不能以空格开头或结尾,中间可以包含空格。

  • OBS全路径长度小于等于1023字符。

(2)HDFS路径

必须以“/user”开头。

  • 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>,<'$*?\:特殊字符。

  • 目录和文件名称不能以空格开头或结尾,中间可以包含空格。

  • HDFS全路径长度小于等于1023字符。

  • “HDFS文件列表”中显示的HDFS父目录,将默认显示在HDFS路径文本框中。

说明:当导出文件夹到OBS系统时,在OBS路径下,将增加一个标签文件,文件命名为“folder name_$folder$”。请确保导出的文件夹为非空文件夹,如果导出的文件夹为空文件夹,OBS无法显示该文件夹,仅生成一个命名为“folder name_$folder$”的文件。

7、单击“确定”。

文件上传进度可在“文件操作记录”中查看。MRS将数据导出操作当做Distcp作业处理,也可在“作业管理 > 作业”中查看Distcp作业是否执行成功。

相似文档
  • 用户可将自己开发的程序提交到MRS中,执行程序并获取结果。本章节教您在未启用Kerberos认证的MRS分析集群页面如何提交一个新的作业。 用户创建作业前需要将本地数据上传至OBS系统用于计算分析。
  • 总览 通过总览信息可以快速查看所有集群和作业的状态。 MRS用于海量数据的管理和分析,MRS使用简单,用户创建好一个集群,在集群内可新增MapReduce、Spark和Hive作业,对用户数据进行分析和处理。数据处理完成后,采用SSL加密传输数据至OBS,保证数据的完整性和机密性。
  • 集群列表简介 集群列表显示MRS所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 MRS作为一个海量数据管理和分析平台,数据处理能力在PB级以上。MRS支持创建多个集群,集群购买数量受弹性云服务器数量限制。
  • 创建集群 使用MRS的首要操作就是购买集群,本章节为您介绍如何在MRS管理控制台创建一个新的集群。 操作步骤 步骤1登录MRS管理控制台。 步骤2单击“申请集群”,进入“创建集群”页面。
  • 扩容集群 MRS的扩容不论在存储还是计算能力上,都可以简单地通过增加节点来完成,不需要修改系统架构,降低运维成本。集群Core节点不仅可以处理数据,也可以存储数据。可以在集群中添加Core节点,通过增加节点数量处理峰值负载。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部