上云无忧 > 文档中心 > 百度智能云MapReduce - 导出数据
百度智能云MapReduce - 导出数据

文档简介:
Sqoop导出数据: 在使用BMR对数据进行分析之后,分析的结果数据被保存在BOS的指定目录下,用户可以进入BOS中将结果数据导出,具体操作请参考BOS下载Object。 您可通过Sqoop把BOS或HDFS的数据导出至关系型数据库RDS中。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

Sqoop导出数据

在使用BMR对数据进行分析之后,分析的结果数据被保存在BOS的指定目录下,用户可以进入BOS中将结果数据导出,具体操作请参考BOS下载Object。

您可通过Sqoop把BOS或HDFS的数据导出至关系型数据库RDS中。具体操作如下:

从BOS中导出数据至RDS关系型数据库

  1. 在关系型数据库RDS中创建相应的数据表,请注意数据表字段类型与导出数据需要一致,否则在导出过程中可能出现异常。数据需要连接到RDS数据库进行创建,请参考连接RDS实例。
  2. 通过SSH连接到主节点,请参考SSH连接到集群。
  3. 输入命令:su hdfs。切换到HDFS用户。
  4. 执行命令: sqoop export --connect jdbc:mysql://address:port/db_name --table export_table_name --username XX --password XX --export-dir XX 示例: sqoop export --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --export-dir bos://abc/sqooptest
  5. 执行后,在RDS关系数据库PHP Admin界面可以看到执行结果,如下图所示: 

从HDFS中导出数据至RDS关系型数据库

  1. 执行从BOS中导出数据至RDS关系型数据库的步骤1至3。
  2. 执行命令: sqoop export --connect jdbc:mysql://address:port/db_name --table export_table_name --username XX --password XX --export-dir XX 示例:sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --export-dir /user/hdfs/sqooptest
  3. 执行从BOS中导出数据至RDS关系型数据库的步骤5。
参数 参数说明
address和port RDS数据库实例的地址和端口号。请至RDS实例的基本信息中获取,可参考连接RDS实例。
db_name 需导出数据所在数据库的名称。如需创建关系型数据库RDS实例,请参考创建数据库。
table_name 需导出数据的数据表的名称。如需创建数据表,请先登录到关系型数据库RDS实例中创建,请参考连接RDS实例。
--username和--password 需导出数据所在数据库的账号和密码。请至RDS实例中获取信息,请参考创建数据库账号。
--export-dir 数据导出的目的地址,即BOS或HDFS的路径。
相似文档
  • 使用HBase存储数据需正确安装HBase,操作详情如下: 安装HBase。请在创建集群时安装HBase,具体操作请参考创建集群。HBase安装成功后,HBase的Master部署在BMR的Master节点,Region Server部署在BMR的Core节点。
  • Maven项目包样例: 百度智能云提供了以下组件的Maven项目样例代码,您可通过GitHub克隆代码至本地设计自己的程序:MapReduce。 Linux环境下使用命令行编译Maven项目: 以Ubuntu 14.04环境为例,介绍Maven的安装和编译。
  • 介绍: 多用户访问控制,主要用于帮助用户管理云账户下资源的访问权限,适用于企业内的不同角色,可以对不同的工作人员赋予使用产品的不同权限,当您的企业存在多用户协同操作资源时,推荐您使用多用户访问控制。
  • 概览: 通过定时任务创建BMR集群,分析日志数据,定时释放集群,为用户大大节约了使用成本。 需求场景: 对于业务稳定且有规律的用户,日志的峰值和低谷的规律一般是固定的。对于有规律的日志业务场景,用户只需要在特定的时间段内用集群进行分析即可,其余时间无需使用集群。
  • 概览: 网站日志包含用户访问信息,通过日志分析我们可以了解网站的访问量、网页访问次数、网页访问人数、频繁访问时段等等,以便获取用户行为以优化网站的商业价值。由于网站每天会产生海量的日志,非常适合使用MapReduce(简称BMR)这样的托管Hadoop服务。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部