上云无忧 > 文档中心 > 百度智能云MapReduce功能发布记录
百度智能云MapReduce功能发布记录

文档简介:
2022-08: BMR更新高可用架构,由2Master调整为3Master结构,提供更加稳定和高可用的大数据集群管控服务。 2022-07: BMR发布全新BMR1.6.0版本,支持Hadoop 2.8.5、Spark 2.4.8、Hive 2.3.9等版本。 支持删除已释放集群和修改标签和批量编辑标签功能。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
发布时间 功能概述
2022-08
  • BMR更新高可用架构,由2Master调整为3Master结构,提供更加稳定和高可用的大数据集群管控服务。
  • 2022-07
  • BMR发布全新BMR1.6.0版本,支持Hadoop 2.8.5、Spark 2.4.8、Hive 2.3.9等版本。
  • 支持删除已释放集群和修改标签和批量编辑标签功能。
  • 默认不再开启dns解析按钮。
  • 提供集群名称、实例ID、作业ID等复制功能。
  • 修复BMR 3.0.0镜像选中spark后不关联hive的问题。
  • 2022-06
  • BMR发布全新BMR3.0.0版本,升级Hadoop为3.2.3,Spark为3.2.0,Hive 3.1.3,Tez 0.10.1,Flink 1.13.6,新增Hudi 0.10.1。
  • 2022-05
  • BMR 发布 BMR 2.3.1版本,升级Impala版本为3.4.0,Kudu版本为1.14.0。
  • 2022-04
  • BMR 发布 BMR HBase 2.2.1版本,支持HBase on BOS 读写分离集群功能,详情见HBase组件介绍。
  • 2022-04
  • BMR 发布 BMR Kafka 2.7.2 版本,同时对副本同步参数进行了调整。
  • num.replica.fetchers=12
  • replica.fetch.max.bytes=5242880
  • replica.fetch.wait.max.ms=300
  • 2022-03
  • BMR 发布 BMR 2.3.0 镜像,支持Ooize 5.1.0与Hue 4.8.0。
  • 2021-11
  • BMR 发布 BMR 2.2.2 镜像,支持Flink 1.12.4版本。
  • 2021-09
  • BMR支持用户对Master、Core、Task、Client节点主动绑定和解绑EIP。
  • 2021-08
  • BMR 更新Hbase版本为Hbase 2.2.7版本,Hbase集群模板发布新版本:BMR HBASE 2.2.0。
  • BMR ClickHouse 模板发布新版本:BMR Clickhouse 21.8.3,同时支持ClickHouse 高可用版本。
  • BMR 监控大盘新增Hbase监控,支持Hbase表级数据趋势监控和告警。
  • 2021-04
  • BMR 2.2.0 版本新增组件kudu
  • BMR 新版安全组上线,支持用户新建集群时绑定用户自己的安全组,并且支持新建集群的安全组在VPC安全组中控制安全组规则
  • BMR 上线集群标签功能,支持用户在创建时为集群添加标签,方便用户区分和管理集群,同时用户可以在云上标签管理中绑定和解绑BMR集群资源
  • 2021-03
  • BMR在苏州、上海Region 上线BMR 1.6.0 版本 支持hadoop2.8.5版本,同时适配了spark、hive、hbase、hue等组件
  • 2021-02
    • BMR 新增监控运维大盘,提供集群仪表盘和集群监控、主机监控和服务监控,支持查看主机层监控详情和主机层面的指标筛选功能
    • Flink 升级版本至1.11.2
    • BMR上线 BMR 2.2.0 版本,支持hadoop 3.1 版本,同时适配升级了其他组件
    • BMR Kafka上线BMR Kafka 1.0.1,BMR Kafka 1.1.0,BMR Kafka 2.0.1和BMR Kafka 2.5.1多个版本
    2021-01
    • BMR 上线 2.0.0 版本 支持hadoop 3.1 版本
    • BMR 上线 1.4.0 版本 支持hadoop 2.7.1 版本,同时适配presto、azkaban、hive、spark等组件
    • BMR 上线 1.2.0 版本 支持hadoop 2.7.1 版本
    2020-12 BMR 发布独立模板 ClickHouse,多用于联机分析(OLAP)场景,可提供海量数据的存储和分析,版本 BMR ClickHouse 1.0.0,ClickHouse版本为20.5.3.27
    2020-04 上线计费变更功能,支持预付费与后付费集群互转
    2020-03 上线配置变更功能,可以对一个正在运行的集群,对虚机的cpu和内存规格进行调整
    2020-01 上线2.1.0镜像,新增kafka组件,spark版本升级到2.4.2
    2019-12 新增Flink、Impala、Druid组件
    2019-11 上线弹性伸缩功能,可以自动调整task节点规模
    2019-10 在创建集群时,新增client节点类型,可以作为独立的集群管控节点及作业提交节点,可以提高集群的稳定性及安全性。
    2019-09 在创建集群时,支持将BOS的bucket作为Hbase的deepstorage。提供数据存储可靠性及使用灵活性
    2019-06 新增BMR节点并更新价格
    2019-05 提供Java SDK实现创建管理集群、实例、实例组及作业等功能
    2019-04 新增Scala场景教程。以使用Scala为例介绍数据计算过程通过BMR的Spark Streaming连接百度消息服务
    2018-12
    • 提供备用节点,提供集群的高可用性
    • BMR从1.0.0版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端才能访问集群中的服务(如HDFS,HIVE 等)
    • 接入IAM主子账户鉴权,细化用户权限颗粒度,便于根据业务需要为不同职责的用户分配不同的权限
    • 新增Hadoop集群管理系统。Hadoop Manger是BMR产品为用户提供的细粒度hadoop管理平台,提供集群监控、服务管理、hadoop多租户管理功能
    2018-11
    • 新增支持集群安全模式,提供备用节点,提供集群的高可用性
    • 支持多用户访问控制。用户访问控制实现了企业或组织内部不同人员乃至不同部门协同地管理和使用BMR资源的功能。在BMR中,我们将集群和定时任务视为资源。协同工作的方式是主用户需要创建子用户,并为子用户分配访问策略
    相似文档
    • 本文介绍BMR版本的发行版本信息。 BMR 1.X系列版本信息: Hadoop 2.7.1 2.7.1 2.7.7 2.8.5 ; Zookeeper 3.4.6 3.4.6 3.4.6 3.4.6 ; Spark 2.1.0 2.1.0 2.1.0 2.4.8 ;
    • 便捷易用的集群部署管理: 为用户提供简单快捷的界面化交互方式进行集群部署管理,并提供丰富全面的大数据组件,灵活满足各种使用场景。为用户提供配置多样的高性能节点机器,允许用户按需进行集群的弹性配置,以及根据业务情况进行节点的扩缩容,以最低的成本挖掘最大的数据价值。
    • 与自建Hadoop集群相比,MapReduce有以下优势: 易用:界面点选的操作方式,多种大数据开源组件自由组合,分钟级完成集群创建操作。 模板丰富:BMR支持多种集群模板,Hadoop、HBase、Hive、Druid、Kafka、ClickHouse,支持多种应用场景。
    • MapReduce集群提供四种类型的节点: Master节点:为集群管理节点,部署 NameNode、ResourceManager、HMaster 等进程,在创建集群时可以选择开启高可用模式,支持核心组件服务自动故障迁移。建议选择8核以上的节点配置。
    • 网站日志处理: 网站日志包含着网站最重要的信息,通过日志分析网站,可帮助您获取用户行为以优化网站的商业价值。日益增长的日志信息需大规模处理平台的支撑,MapReduce全托Hadoop服务为高效处理海量网站日志提供了可靠依托,而且开发者在友好的界面中分析海量日志,大大降低了使用门槛。如需快速熟悉具体实现,请至使用Hive分析网站日志。
    官方微信
    联系客服
    400-826-7010
    7x24小时客服热线
    分享
    • QQ好友
    • QQ空间
    • 微信
    • 微博
    返回顶部