上云无忧 > 文档中心 > 百度智能云MapReduce的环境准备
百度智能云MapReduce的环境准备

文档简介:
注册并登录百度智能云平台,具体操作请参考注册和登录。 选择“产品服务>MapReduce BMR”,进入BMR服务。 使用BMR需要通过实名认证,每个账户只需认证一次。点击“立即去认证”,进入“实名认证”页面。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
  1. 注册并登录百度智能云平台,具体操作请参考注册和登录。
  2. 选择“产品服务>MapReduce BMR”,进入BMR服务。

  3. 使用BMR需要通过实名认证,每个账户只需认证一次。点击“立即去认证”,进入“实名认证”页面。

  4. 选择“企业认证”或者“个人认证”。

  5. 运用BMR的各组件做数据处理后,结果将输出到对象存储BOS服务器上,因此认证通过后需开通对象存储BOS服务并创建Bucket,并且要求您必须对该地址有写的权限,从而为输出结果提供存储路径。具体操作请参照创建Bucket。

注意:

  • 本文中所有的数据及示例程序目前只存储在“华北-北京”区域的BOS中,“华南-广州”区域的BOS没有。
  • 对象存储BOS与需要建立的BMR集群应在同一区域内。区域说明请参考区域选择说明。
相似文档
  • 登录成功后,选择“产品服务>MapReduce BMR”,进入“集群列表”页面。 (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。 用户点击“创建集群,进入“创建集群”页面进行集群配置:
  • 以准备Web日志数据为例,您可以直接使用百度智能云提供的样例数据,也可根据说明构造自己的输入数据: 使用百度智能云提供的样例数据,路径如下: 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的BMR集群可用。
  • 使用hadoop镜像的集群可添加的作业类型是:java,streaming。使用spark镜像的集群可添加作业类型:spark,java,streaming。集群中添加了应用后便可添加该应用的作业,即创建集群时添加了hive应用,则可创建hive作业,添加了pig应用,则可创建pig作业。
  • 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各task的任务处理情形。
  • Hadoop Streaming简介: 本文以分析Web日志统计每日请求量为例,介绍如何在百度智能云平台使用Hadoop Streaming。 在BMR集群中,您可以使用python、shell、C++等任何您熟悉的编程语言开发Hadoop Streaming作业。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部