上云无忧 > 文档中心 > 百度智能云MapReduce - SSH连接到集群
百度智能云MapReduce - SSH连接到集群

文档简介:
应用场景: 在集群运行期间与主节点交互。例如,登录主节点运行交互式查询,检查日志文件,使用在主节点上运行的应用程序监控性能,调试集群问题等。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

应用场景

在集群运行期间与主节点交互。例如,登录主节点运行交互式查询,检查日志文件,使用在主节点上运行的应用程序监控性能,调试集群问题等。

使用安全外壳协议(SSH)连接到主节点可实现监控集群并与集群交互。您可在主节点上发出Linux命令,以交互的形式运行HBase、Hive和Pig等应用程序,浏览目录和读取日志文件等。

操作步骤

  1. 在集群创建成功后,集群列表页点击集群,进入集群详情页,在“节点信息”点击Master节点,获取Master节点的公网IP,SSH端口默认22。

为用户集群安全性考虑,BMR新建集群默认情况下不开启22端口,如果用户需要通过22端口访问集群,可以前往VPC的安全组中进行规则的修改,添加22端口,再进行访问。具体操作流程如下:

  • 点击私有网络VPC

  • 选择进入相应BMR集群的安全组中进行修改,BMR集群安全组ID可以在BMR集群详情页中进行查看。 
  • 点击进入VPC安全组中,可以搜索查看相应的BMR集群的安全组。

  • 点击安全组名称: BaiduMapReduce-Default 进入安全组详情,在入站规则中点击添加规则,添加22端口即可,添加完成后可以通过SSH方式使用22端口进行登录访问集群。 
  1. 在集群运行期间,连接Master节点。集群IP地址和端口号可至站内信中查看,用户名和密码是创建集群时设置的用户名和密码。

    • Linux环境下:通过 ssh username@eip -p [端口号]命令连接Master节点。其中,eip为Master节点的公网IP地址,username是root,密码是创建集群时设置的管理员密码。内网用户建议通过Master内网IP地址进行访问。

    • Windows环境下:通过SSH客户端(Putty、SecureCRT及Xshell等)登录,使用SSH协议进行登录。以Putty为例:

  2. 验证通过后,成功登录主节点,用户可对集群进行相关操作。
相似文档
  • 使用BMR集群的VPN服务,需配置OpenVPN Client,本章介绍在Mac OS X、Linux和Windows操作系统上配置OpenVPN Client的过程。 Mac OS X: 以Mac OS X(10.11.2)为例。具体操作如下: 下载Tunnelblick的安装文件。
  • 本章介绍如何使用OpenVPN在Linux、Windows和Mac OS X操作系统中提交Hadoop作业。 使用客户端提交作业时,需在系统中设置环境变量,即“HADOOP_USER_NAME=hdfs”,或在MapReduce作业中配置,即在程序第一行加上“System.setProperty("HADOOP_USER_NAME","hdfs")”,可实现以hdfs用户的身份提交作业。
  • 访问集群Hadoop Yarn服务页面: 通过Web UI可访问Hadoop Yarn,具体操作如下: 打开“产品服务>MapReduce>MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。 点击“服务页面”栏中的“Hadoop Yarn”对应的链接。 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。
  • 建立SSH Tunnel: 集群创建成功后,集群创建成功后,请至“站内信”中获取Master节点的公网IP和SSH端口号,并通过如下配置在Linux环境或Windows环境下建立SSH Tunnel连接集群:
  • 使用hadoop镜像的集群可添加的作业类型是:java,streaming。使用spark镜像的集群可添加作业类型:spark,java,streaming。集群中添加了应用后便可添加该应用的作业,即创建集群时添加了hive应用,则可创建hive作业,添加了pig应用,则可创建pig作业。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部