上云无忧 > 文档中心 > 百度智能云MapReduce - BMR的混部方案
百度智能云MapReduce - BMR的混部方案

文档简介:
MapReduce混部方案可以让您以“分时”的方式使用BCC云服务器,即在云服务器BCC繁忙的时候专注自身业务,空闲的时候分一部分精力帮助BMR集群的大数据计算。既提高了云服务器BCC的资源利用率,也提高了BMR集群的计算能力,降低总体IT支出。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

MapReduce混部方案可以让您以“分时”的方式使用BCC云服务器,即在云服务器BCC繁忙的时候专注自身业务,空闲的时候分一部分精力帮助BMR集群的大数据计算。既提高了云服务器BCC的资源利用率,也提高了BMR集群的计算能力,降低总体IT支出。

国内某著名互联网企业,租用BCC云服务器用于搭建业务系统,并创建了BMR集群对每天的业务数据做大规模计算,如下图所示:

电子商务、邮件等业务系统的访问量具有明显的波峰波谷现象,为了保证业务的正常运转,该企业已按照业务的最高使用量来购买了BCC资源,但凌晨网站的访问量非常少,这时支撑业务系统的BCC资源会大量被浪费。

BMR混部方案可以解决这个问题!在凌晨业务系统资源占用率较低时,将空闲的BCC计算资源纳入到BMR的大数据计算中,增加BMR集群的计算能力,当访问量回升时,再将其从BMR系统中分离出来,如下图所示,这样,分时使用BCC资源,通过削峰填谷保证了资源利用最大化,大大降低了总成本。

本质上,BMR混部方案使用BCC为BMR集群扩容,即扩容后的集群中包含BMR节点以及BCC节点,其中BCC节点相当于BMR集群的task节点,增加了BMR集群的计算能力。扩容后,Master节点在分配任务时对来自BCC或者BMR的task节点一视同仁,同样享受BMR提供的作业级容错。

如需深入了解BMR混部方案,请联系bce@baidu.com或者提交工单,百度智能云会为您提供完整的解决方案。

相似文档
  • 在本示例中,hive数据表的location为BOS路径,hive数据表的partition为dt(string),根据dt指定日期,区分每一天的导入数据。 说明: 由于hive数据表的location为BOS,无法直接通过sqoop将RDS的数据导入hive,因为hive在加载数据时,会先将数据写入本地hdfs,然后将数据所在目录移动到hive表的location上。由于本地hdfs和BOS数据两个不同的文件系统,直接进行移动操作会抛出异常。因此,本场景需要“数据导入BOS”和“数据导入hive”两个步骤。
  • 概览: 实现云上流式场景下数据流打通,方便用户在百度智能云上使用各个产品实现流式需求,实现流式数据处理全流程。 需求场景: 事件流: 事件流具能够持续产生大量的数据,这类数据最早出现与传统的银行和股票交易领域,也在互联网监控、无线通信网等领域出现、需要以近实时的方式对更新数据流进行复杂分析如趋势分析、预测、监控等。
  • 概览: 离线数据分析适用于数据规模大、处理实时性要求不高的场景,例如用户行为分析、用户留存分析、报表统计等等。基于百度智能云大数据平台,用户可以便捷地实现离线数据分析,包括数据的采集、数据清洗、数据仓库以及商业智能展现。
  • 协议生效时间:2019年05月01日。 本服务等级协议(Service Level Agreement,以下简称 "SLA")规定了百度智能云向客户提供的MapReduce BMR的服务可用性等级指标及赔偿方案。
  • BMR产品介绍: 介绍BMR的优势及产品特性。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部