上云无忧 > 文档中心 > 百度智能云MapReduce集群 - 弹性伸缩
百度智能云MapReduce集群 - 弹性伸缩

文档简介:
大数据处理及分析场景下,常常需要根据业务情况的变化动态调整集群的task节点数量,这样可以在保证作业顺利完成的同时,降低您的成本。弹性伸缩功能支持按时间规则或者按指标规则进行集群task节点规模的调整。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

概述

大数据处理及分析场景下,常常需要根据业务情况的变化动态调整集群的task节点数量,这样可以在保证作业顺利完成的同时,降低您的成本。弹性伸缩功能支持按时间规则或者按指标规则进行集群task节点规模的调整。适用于以下场景:

  1. 业务规模具有时间周期规律,存在明显的波峰与波谷,例如特定时间的日报表、周报表等处理分析场景
  2. 业务变化不具有时间规律,但需要保证重要作业的及时运行,需要根据集群负载指标动态调整集群规模

配置节点套餐

  1. 选择“产品服务>数据分析>MapReduce>集群“进入集群列表页面。
  2. 点击所选集群后方操作列中的“弹性伸缩”按钮,进入“管理弹性伸缩”页面。

在“扩容节点配置”栏中,点击“新增节点类型”,在弹框中选择节点套餐,并配置系统盘及数据盘,点击确认。节点配置选择后,可点击修改或删除,重新配置节点套餐。节点套餐配置完成后,点击保存,则完成节点套餐配置操作。

说明:节点套餐一经保存后,在规则运行期间不允许修改套餐。若要修改套餐,需要点击页面右上角的“重置并释放所有节点”,将已扩容的节点释放并重置套餐类型。

管理伸缩规则

管理集群的弹性伸缩规则,可设置弹性伸缩的规模、创建及编辑规则内容

配置弹性伸缩最大规模

最大规模:弹性伸缩操作可扩容出的最大task节点规模,当弹性伸缩task节点数量达到最大规模后,则不会继续触发扩容操作。

说明:弹性伸缩操作的task节点与集群task节点相互独立,在扩容及缩容操作上互不影响。例如当前集群本身的task节点数量为5个,则无论如何触发弹性伸缩规则,集群本身的task节点数量依然为5个。

配置规则

伸缩规则分为时间规则与指标规则两种类型,两种规则间互相独立,不可同时生效。点击“规则类型名称”后,可进行规则切换。规则切换后,原有规则将会失效不再触发,已扩容的节点不会被释放,直到触发新的缩容规则。

说明:创建规则前,请先配置节点套餐并保存。

点击“创建规则”,进行规则配置。

  1. 创建时间规则

    • 规则名称:输入规则名称
    • 规则类型:不可选,与当前规则类型相同
    • 执行次数:可选重复执行或仅执行一次
    • 执行时间:重复执行时,先选择重复周期“每天”、“每周”、“每月”,再按照时-分-秒的格式选择执行的时间点;仅执行一次时,选择具体日期,再按照时-分-秒的格式选择执行的时间点
    • 伸缩行为:为该条规则触发时扩容节点数量
  2. 创建指标规则

    • 规则名称:输入规则名称
    • 规则类型:不可选,与当前规则类型相同
    • 集群指标项:选择所要监控的集群指标项;选择指标数据的统计规则,当前可选平均值、最大值、最小值
    • 统计周期:评估所选集群指标项是否满足条件的时间周期,例如当5分钟统计周期内,Yarn内存使用量的平均值>80%时,触发规则
    • 阈值:选择运算符号“>”、“<”;配置阈值数字
    • 伸缩行为:为该条规则触发时扩容节点数量
    • 集群指标项定义:
指标类型 指标项 说明
Yarn YarnMemoryPercentage Yarn内存使用百分比
- YarnAppsPending Yarn中等待运行的任务数
Cluster ClusterCpuUsagePercentage 集群平均cpu使用百分比

说明:任意两条时间规则,在时-分-秒的间隔上需要大于30分钟。例如每日09:00的规则与每周一09:00的规则会冲突。 任意两次扩容或缩容操作中间的冷却时间为5分钟,在此5分钟内,即使满足了规则生效条件,该规则也不会生效。 若两条及以上的指标规则同时触发生效,则按照规则排列顺序,执行第一条触发的规则

规则配置修改

可点击操作列中的“失效”、“编辑”、“删除”对规则进行相应操作。

  • 规则状态:有两种状态。“生效中”,为该规则可被正常触发并执行相应操作;“已失效”,为该规则不可被触发。
  • 失效/生效:点击操作列中的失效/生效,可切换该条规则的状态
  • 编辑:点击操作列中的编辑,可重新编辑规则
  • 删除:点击操作列中的删除,可删除该条规则 

释放所有扩容节点

在“弹性伸缩”页面,点击页面右上角的“释放所有节点”,即可释放当前已扩容的节点,并且所有规则将处于已失效的状态,不会触发伸缩操作。

查看弹性伸缩日志

对于弹性伸缩执行的操作记录,提供日志功能进行查看。

  1. 选择“产品服务>数据分析>MapReduce>集群>所选集群名称“进入集群详情页面。
  2. 点击“弹性伸缩日志”按钮,查看日志记录。

    • 开始时间:为扩容、缩容操作开始的执行时间
    • 结束时间:为扩容、缩容操作结束的时间,若操作失败,则展示“无”
    • 规则名称:为所触发的规则名称
    • 伸缩行为:为该条操作实际执行的节点数量
    • 执行状态:为该条操作执行的结果
    • 执行完节点数量:为该条操作执行完后的弹性伸缩task节点总数
相似文档
  • BMR从1.0.0版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端才能访问集群中的服务(如HDFS,HIVE 等)。 注:目前BMR版本中支持Kerberos的组件有HDFS、YARN、SPARK、HIVE、HBase。
  • 实际业务处理场景中,经常遇到需要将BMR集群资源及集群中的数据、服务等在多个组织及部门间共享的场景,需要能够做到集群中细粒度的计算资源及访问权限管控。 对于云上资源(集群、作业)粒度的管理,请参见多用户访问控制。
  • BMR中的监控运维主要包含两部分: 监控查看 监控查看是在BMR侧查看各种类型(用户/集群/主机/服务/组件/Topic)监控指标趋势。 报警配置 报警配置是在BCM侧配置BMR中的事件报警和指标报警规则,以及查看报警历史。
  • 在通过相应的端口登录和访问BMR集群前,您需要将访问的IP地址或IP段加到安全组中,进行相应的安全组配置,BMR产品为用户提供了默认的BMR安全组:BaiduMapReduce-Default,用户可以选择默认的安全组进行使用无需单独配置,如果有其他端口和IP访问的需求,可以在创建集群完成后,在VPC安全组中BMR的安全组中进行配置。
  • BMR集群中使用EIP: 弹性公网IP EIP (Elastic IP) 作为一个独立的商品为用户提供公网带宽服务。 EIP的主要用途包括: 通过EIP实例,用户可以获取公网带宽服务。 用户可灵活配置EIP实例的计费模式,包括按需按带宽付费、按需按流量付费和包年包月按带宽付费三种。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部