上云无忧 > 文档中心 > 百度智能云MapReduce配置类问题QA
百度智能云MapReduce配置类问题QA

文档简介:
Q:如何配置集群,使得作业运行完毕后,集群自动终止? A:在创建集群时进行设置,在【自动终止】选项中,选择开启,则在作业最后一步完成时,集群会自动终止。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

如何配置集群,使得作业运行完毕后,集群自动终止?

在创建集群时进行设置,在【自动终止】选项中,选择开启,则在作业最后一步完成时,集群会自动终止。

BMR无法手动停止 job,必须等待它运行完吗?

不是的,作业流中的作业支持在控制台作业列表中进行人工停止作业。

集群是否支持外网登录?

支持。您可在集群运行期间,使用安全外壳协议(SSH),通过Master节点的公网IP、登录用户名和密码、以及SSH端口号,连接到Master主节点并实现与集群交互。

  • Linux环境下:通过 ssh [username]@[eip] -p [端口号]命令连接Master节点。
  • Windows环境下:通过SSH客户端(Putty、SecureCRT及Xshell等)使用SSH协议登录。

Core节点与Task节点的使用区别在哪里,如何选择?

  1. Core节点与Task节点的区别:和Core节点相比,Task节点没有部署hdfs,在增加和减小规模的时候没有丢失hdfs数据副本的风险,因此更加适合用来动态调整集群的计算能力(Core节点存储数据,可以运行DataNode和NodeManager,Task节点只运行NodeManager)。
  2. 如何选择:举例说明,例如处理10G数据,按照128MB切分,一共80个map task,一个计算节点(比如内存最优型)预期需要8个task的话,想尽快完成就需要10个计算节点,如果core配置5个节点,那么task也配5个就可以了。关于core节点数目,如果使用集群内的hdfs,需要根据hdfs中的数据大小规划core节点数量(一般常驻集群是这样的);如果不使用集群内的hdfs,而是使用bos作为数据源,可以使用最少的core节点数量(一般按需启动的集群是这样的)。以上只是一个例子,仅供参考。
相似文档
  • Q:BMR如何进行收费? A:BMR的计费规则请参见产品定价。 Q:费用不足,用户该如何充值? A:用户可以到【财务中心】下,购买需要的服务。 Q:充值时,一次性充多少钱可以满足用户处理数据的需求? A:在增加各种类型的作业,到确认订单页面后,会显示预计所需要的花费。可以依此为参照,到【财务中心】菜单下,购买BMR服务。
  • Q:BMR是否可估算处理作业的运行时间? A:处理作业的运行时间依赖若干种因素,包括作业的规模和复杂度、设置实例的数目以及套餐类型等多种情况,因此BMR没有提供估算作业运行时间的服务。
  • Q:用户的数据安全性如何? A:BOS提供多种访问控制机制,如签名验证机制、访问控制列表等,确保用户存储数据的安全性以防止未被授权进行访问。其中签名验证机制是通过对URL进行签名来识别访问者的身份,从而实现用户身份验证。其中访问控制列表是对Bucket的管理和校验。
  • 百度流式计算(BSC)提供 Apache Spark & Flink 双引擎的 Serverless 流式数据实时处理能力,在完全兼容开源社区的基础上深度优化,产品交互简单易用,作业类型丰富,按需使用付费,提供全面、实时的监控指标。 【百度智能云】流式计算BSC
  • 2021-05 正式上线公测; 2020-07 支持 FLINK SQL; 2019-05 提供API接口,包括作业相关接口和模板相关接口,用户创建和管理BSC作业。 BSC窗口函数支持基于窗口的聚合。例如需要统计每分钟内广告被点击的次数,可以通过定义一个1分钟的窗口来收集对应窗口的数据,并对这个窗口内的数据进行聚合计算。 【百度智能云】流式计算BSC
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部