上云无忧 > 文档中心 > 百度智能云MapReduce - 访问集群服务页面
百度智能云MapReduce - 访问集群服务页面

文档简介:
访问集群Hadoop Yarn服务页面: 通过Web UI可访问Hadoop Yarn,具体操作如下: 打开“产品服务>MapReduce>MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。 点击“服务页面”栏中的“Hadoop Yarn”对应的链接。 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

访问集群Hadoop Yarn服务页面

通过Web UI可访问Hadoop Yarn,具体操作如下:

  1. 打开“产品服务>MapReduce>MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。
  2. 点击“服务页面”栏中的“Hadoop Yarn”对应的链接。
  3. 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。

访问集群的Hue Web页面

在BMR中,您可以选择添加Hue应用实现以下操作:

  • 编辑与执行Hive脚本。
  • 查看集群HDFS。

BMR提供了两种访问Hue服务页面的方式:Web UI、SSH Tunnel。

通过Web UI访问Hue Web页面

  1. 在创建集群中设置软件配置时,添加Hue和Hive应用。
  2. 打开“产品服务>MapReduce>MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。
  3. 点击“服务页面”栏中的“Hue”对应的链接。
  4. 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。

注意:

  • 若集群的CORE节点是2个,使用Hue Web上传文件时,建议文件大小不超过64MB。
  • 若集群的CORE节点是3个或以上,使用Hue Web上传文件时,建议文件大小不超过1.5GB。

通过SSH Tunnel访问Hue Web页面

  1. 在创建集群中设置软件配置时,添加Hue和Hive应用。
  2. 建立SSH Tunnel并配置浏览器,具体操作请参考[准备](#通过SSH Tunnel访问集群的环境准备)中的所有步骤。
  3. 代理设置完后,在Master结点上执行命令hostname获取hostname。 下图是通过putty在Master节点上执行hostname的显示结果,其中“ndg45c458-master-instance-8y6oeh6l.novalocal”是Master结点的hostname: 

    注意:如果需要使用其他用户,请登录Master结点创建系统用户,保证用户UID大于500。登录Master可参考SSH连接到集群。

  4. 通过http://hostname:8888/访问Hue Console。下图是Hue访问界面。 

访问集群的Ganglia页面

在BMR的集群中集成了Ganglia服务,您可访问Ganglia的Web前端。Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:CPU、mem、硬盘利用率,I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。

通过SSH Tunnel可访问Ganglia服务页面,具体操作如下:

  1. 建立SSH Tunnel并配置浏览器,具体操作请参考[准备](#通过SSH Tunnel访问集群的环境准备)中的所有步骤。
  2. 代理设置完成后,可通过以下两个地址访问Ganglia服务:

    • master_name/ganglia,master_name即为master节点的hostname。如下图所示,“ng175fe8a-master-instance-8y6oeh6l”是master结点的hostname:

    • 内网IP/ganglia,内网IP可以在控制台的“实例详情”获取。
  3. Ganglia服务页面如下图所示: 
相似文档
  • 建立SSH Tunnel: 集群创建成功后,集群创建成功后,请至“站内信”中获取Master节点的公网IP和SSH端口号,并通过如下配置在Linux环境或Windows环境下建立SSH Tunnel连接集群:
  • 使用hadoop镜像的集群可添加的作业类型是:java,streaming。使用spark镜像的集群可添加作业类型:spark,java,streaming。集群中添加了应用后便可添加该应用的作业,即创建集群时添加了hive应用,则可创建hive作业,添加了pig应用,则可创建pig作业。
  • 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各task的任务处理情形。
  • 目的: 诊断运行失败的作业,在日志中定位失败的原因,精确定位到您的程序中错误的位置。 调优运行成功的作业,基于经验评价作业的配置和参数的合理性,给予您调优的建议。
  • 简介: 通过定时任务您可定时启动集群运行作业。需预先规划时间策略,并依据时间策略存储输入数据,再创建定时任务,并可对已创建的定时任务修改时间策略。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部