上云无忧 > 文档中心 > 百度智能云MapReduce创建集群
百度智能云MapReduce创建集群

文档简介:
登录成功后,选择“产品服务>MapReduce BMR”,进入“集群列表”页面。 (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。 用户点击“创建集群,进入“创建集群”页面进行集群配置:
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
  1. 登录成功后,选择“产品服务>MapReduce BMR”,进入“集群列表”页面。

  1. (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。
  2. 用户点击“创建集群,进入“创建集群”页面进行集群配置:
  3. 用户根据需要选择计费方式。

    • 预付费:以自然年或自然月为计费周期支付订单,先付费后使用服务,价格较后付费更低。
    • 后付费:按分钟实时计费,按小时扣费,先使用服务后付费。
  4. 在“集群基础设置”区,参考如下说明配置集群基本信息:

    • 集群名称:输入集群名称,默认为“我的集群”。
    • 管理员密码:用于SSH远程连接集群(非root用户,root用户请工单申请),以及登录HMS、Hue等网页应用。
    • 确认管理员密码:再次输入管理员密码。
    • 短信开关:默认打开。
    • 常用报警策略:默认打开。
    • 日志:默认打开。打开时需输入日志地址,即BOS路径。写入BOS的数据可用于作业日志展现、集群诊断调优和集群高可用保证。要求您必须对该地址有写的权限。如果您在BOS上未建立Bucket,即bucket-name不存在,点击“新建Bucket”,具体操作请参照创建Bucket。
    • 自动终止:默认关闭,集群在完成所有数据处理之后保持运行,需手动释放。开启时,集群在数据处理完成后终止,即创建临时集群。
    • 超时设置:默认此功能冻结,开启自动终止后激活此功能,激活后后当集群运行时间超过您设置的超时时长时,系统自动提醒您并根据“超时后操作”的设置处理集群。

在“集群配置”区,参考如下说明进行配置:

  • 镜像版本:选择适合您的镜像版本。
  • 内置模板/可选应用:可通过“内置模板”快速添加Hadoop、Spark、HBase对应的应用,也可通过自定义选择添加应用。
  • 说明:添加hive应用时若选择default作为Metastore,则不收取关系存储的费用。若选择MySQL作为Metastore,则按照RDS的收费标准收取相关的费用,RDS实例是指已创建的RDS实例,且需输入数据库的服务地址、服务端口、数据库、用户名和密码信息。
  • 安全模式:是否开启集群的 Kerberos 认证功能,详情请参考集群安全模式。
  • 高可用:开启后,集群会有 2 个 master 节点来支持 Resource Manager、Name Node和Kerberos的高可用。
相似文档
  • 以准备Web日志数据为例,您可以直接使用百度智能云提供的样例数据,也可根据说明构造自己的输入数据: 使用百度智能云提供的样例数据,路径如下: 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的BMR集群可用。
  • 使用hadoop镜像的集群可添加的作业类型是:java,streaming。使用spark镜像的集群可添加作业类型:spark,java,streaming。集群中添加了应用后便可添加该应用的作业,即创建集群时添加了hive应用,则可创建hive作业,添加了pig应用,则可创建pig作业。
  • 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各task的任务处理情形。
  • Hadoop Streaming简介: 本文以分析Web日志统计每日请求量为例,介绍如何在百度智能云平台使用Hadoop Streaming。 在BMR集群中,您可以使用python、shell、C++等任何您熟悉的编程语言开发Hadoop Streaming作业。
  • Spark简介: 本文以分析Web日志统计每天的PV和UV为例,介绍如何在百度智能云平台使用Spark。 Spark是开源的大规模数据处理引擎。Spark的先进的DAG执行引擎支持周期性数据流和内存计算,在内存中的运算速度是MapReduce的100倍以上,在硬盘中的运算速度是MapReduce的10倍以上。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部