上云无忧 > 文档中心 > 百度智能云MapReduce - 创建集群
百度智能云MapReduce - 创建集群

文档简介:
BMR提供两种创建集群的方法:创建自定义集群、使用系统预定义模板创建集群。 BMR将为用户保留一年的集群历史记录,包含正在运行中、已释放、已终止等全部状态的集群,超过一年的历史集群记录不做保留。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

BMR提供两种创建集群的方法:创建自定义集群、使用系统预定义模板创建集群。

BMR将为用户保留一年的集群历史记录,包含正在运行中、已释放、已终止等全部状态的集群,超过一年的历史集群记录不做保留。

创建自定义集群

  1. 登录控制台,选择“产品服务->MapReduce BMR”,进入集群列表页。
  2. (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。
  3. 点击“创建集群”,进入创建集群页。
  4. 选择付费方式:

    • 预付费:以自然年或自然月为计费周期支付订单,先付费后使用服务,价格较后付费更低。
    • 后付费:按分钟实时计费,按小时扣费,先使用服务后付费。
  5. 在“集群基础设置”区,参考如下说明配置集群基本信息:

    • 集群名称:输入集群名称。
    • 管理员密码:用于SSH远程连接集群,以及登录Hue等网页应用。
    • 确认管理员密码:再次输入管理员密码。
    • 短信开关:默认打开。
    • 日志:默认打开。打开时需输入日志地址,即BOS路径。写入BOS的数据可用于作业日志展现、集群诊断调优和集群高可用保证。要求您必须对该地址有写的权限。如果您在BOS上未建立Bucket,即bucket-name不存在,点击“新建Bucket”,具体操作请参照创建Bucket。
    • 自动终止:默认关闭,集群在完成所有数据处理之后保持运行,需手动释放。开启时,集群在数据处理完成后终止,即创建临时集群。
    • 超时设置:默认此功能冻结,开启自动终止后激活此功能,激活后后当集群运行时间超过您设置的超时时长时,系统自动提醒您并根据“超时后操作”的设置处理集群。
  6. 在“集群配置”区,参考如下说明进行配置:

    • 镜像版本:选择适合您的镜像版本。
    • 内置模板/可选应用:可通过“内置模板”快速添加Hadoop、HBase、Druid对应的应用,也可通过自定义选择添加应用。

    说明:

    1. 添加hive及druid应用时若选择default作为Metastore,则不收取关系存储的费用。若选择MySQL作为Metastore,则按照RDS的收费标准收取相关的费用,RDS实例是指已创建的RDS实例,且需输入数据库的服务地址、服务端口、数据库、用户名和密码信息。
    2. 2.0.0镜像模版中的Hbase支持将BOS挂载为底层存储,可以获得更高的数据可靠性、服务可用性,以及存储的弹性可扩展。请注意在配置BOS路径时,该路径下的任意层级目录中,均未曾配置成为过Hbase的存储路径,即该路径下的任意层级目录中均无任何Hbase元数据,否则会导致Hbase服务无法正常使用。
    • 安全模式:是否开启集群的 Kerberos 认证功能,详情请参考集群安全模式。
    • 高可用:开启后,集群会有 2 个 master 节点来支持 Resource Manager、Name Node和Kerberos的高可用。
  7. 在“节点配置”区,选择节点配置类型,也可更改节点数量。

    说明:单区域内的单用户的最大集群活跃数为5个。单集群节点设置范围如下:

    • MASTER节点非高可用集群为1个,高可用集群为2个。
    • CORE节点默认为3个,最少设置2个,最大可设置20个,如需超过20个,请发工单申请。
    • Task节点默认为0个,最大可设置50个,如需超过50个,请发工单申请。控制台上一个集群仅能添加一组Task节点,请规划好套餐设置。
    • Client节点默认为0个,最大可设置10个,如需超过10个,请发工单申请。控制台上一个集群仅能添加一组Client节点,请规划好套餐设置。
  8. 点击“完成”,可在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。

创建集群模板

  1. 在“产品服务->MapReduce-集群模板”页中,点击“创建模板”,进入创建模板页。

    说明 仅可创建后付费集群模板,不可创建预付费集群模板。

  2. 完成“集群基础设置”、“集群配置”、“节点配置”,具体操作请参考创建自定义集群的步骤5、步骤6和步骤7。
  3. 点击“完成”,模板创建成功。可在集群模板页查看已创建的模板。

使用系统预定义模板创建集群

  1. 登录控制台,选择“产品服务->MapReduce BMR”,点击“集群模板”,进入集群模板页。
  2. 在集群模板页,已有系统预定义的三个集群模板:spark,hive和hadoop。请选择一个模板,点击该模板对应的“创建集群”按钮,进入创建集群页面。
  3. 您可保持模板的默认配置不变,也可更改集群设置,设置集群管理员密码后点击“完成”开始创建集群。
  4. 在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。

创建内网DNS集群

内网DNS为百度云提供的独立的网络产品,可以实现域名(主机名)与ip之间的自动解析。对于不同集群间,BMR集群与BCC间,需要通过域名(主机名)进行互相访问,数据传输时,可以使用该功能。详情请查看智能云解析DNS。

开启内网DNS的BMR集群将自动关联内网DNS产品,自动加入名为novalocal的私有域(若无该私有域,将自动创建)。

  1. 登录控制台,选择“产品服务->MapReduce BMR”,进入集群列表页。
  2. 点击“创建集群”,进入创建集群页。
  3. 在集群基础设置,点击开启“内网DNS”按钮。

注意事项

  1. 开启该功能,智能云解析DNS(内网DNS)产品,将根据使用量进行收费。当前智能云解析DNS(内网DNS)处于公测免费阶段,详情请查看产品定价。
  2. 该功能开启后,暂不支持关闭,请合理规划集群使用用途。释放集群时,为保证其他集群(如有)的正常使用,关联的内网DNS私有域不会自动释放,请您在确定没有其他集群使用该功能时,进入智能云解析DNS控制台,将相关资源进行释放,以免带来不必要的计费。
  3. 当通过子用户创建BMR集群时,开启内网DNS功能,需要您进入多用户访问控制中,为该用户授予“LDFullControlPolicy”权限,否则该功能无法使用。
  4. 该功能尚且处于白名单公测阶段,若要使用此功能,请提交工单,申请智能云解析(内网DNS解析)的白名单权限。
相似文档
  • 对已创建的集群,可在“产品服务->MapReduce-集群列表”页查看所有集群。对已创建的集群您可做如下操作: 查看集群详情、 修改集群名称、 续费、 计费变更、 复制集群、 变更集群节点数量、 保存集群为模板、 释放集群、 删除已释放集群。
  • 大数据处理及分析场景下,常常需要根据业务情况的变化动态调整集群的task节点数量,这样可以在保证作业顺利完成的同时,降低您的成本。弹性伸缩功能支持按时间规则或者按指标规则进行集群task节点规模的调整。
  • BMR从1.0.0版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端才能访问集群中的服务(如HDFS,HIVE 等)。 注:目前BMR版本中支持Kerberos的组件有HDFS、YARN、SPARK、HIVE、HBase。
  • 实际业务处理场景中,经常遇到需要将BMR集群资源及集群中的数据、服务等在多个组织及部门间共享的场景,需要能够做到集群中细粒度的计算资源及访问权限管控。 对于云上资源(集群、作业)粒度的管理,请参见多用户访问控制。
  • BMR中的监控运维主要包含两部分: 监控查看 监控查看是在BMR侧查看各种类型(用户/集群/主机/服务/组件/Topic)监控指标趋势。 报警配置 报警配置是在BCM侧配置BMR中的事件报警和指标报警规则,以及查看报警历史。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部