天翼云翼MapReduce创建集群
文档简介：
创建集群
使用MRS的首要操作就是购买集群，本章节为您介绍如何在MRS管理控制台创建一个新的集群。
操作步骤
步骤1登录MRS管理控制台。
步骤2单击“申请集群”，进入“创建集群”页面。
咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！
微信咨询
免费试用、价格特惠
使用MRS的首要操作就是购买集群，本章节为您介绍如何在MRS管理控制台创建一个新的集群。
操作步骤
步骤1登录MRS管理控制台。
步骤2单击“申请集群”，进入“创建集群”页面。
创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群。
步骤3参考下列表格配置集群基本信息。
基本信息
| 参数 | 参数说明 |
| 集群名称 | 集群名称，集群名称不允许相同。 |
| 只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 | |
| 默认名称为mrs_xxxx，xxxx为字母和数字的四位随机组合数，系统自动组合。 | |
| 可用区域 | 可用区域是使用独立电源和网络资源的物理区域。通过内部网络互联，再以物理方式进行隔离，提高了应用程序的可用性。建议您在不同的可用区域下创建集群。 |
| 虚拟私有云 | VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 |
| 选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。 | |
| 子网 | 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 |
| 选择需要创建集群的子网，可进入VPC服务查看VPC下已创建的子网名称和ID。若VPC下未创建子网，请单击“创建子网”进行创建。 | |
| 集群版本 | 目前支持MRS 1.5.0版本。默认值为当前最新版本，当前的最新版本为MRS 1.5.0。 |
| 集群类型 | MRS提供两种集群类型： |
| l 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 | |
| l 流式集群：用来做流处理任务，提供的是流式处理组件。 | |
| 说明 | |
| MRS流式集群不支持“作业管理”和“文件管理”功能。当集群类型为流式集群时，“添加作业”区域将不在创建集群页面展现。 |
表4-4集群节点信息
| 参数 | 参数说明 |
| 类型 | MRS提供两种节点类型： |
| l Master：指集群Master节点，负责管理集群，协调将集群可执行文件分配到Core节点。此外，还会跟踪每个作业的执行状态，监控DataNode的运行状况。 | |
| l Core：指集群Core节点，处理数据并在HDFS中存储过程数据。 | |
| 实例规格 | 选择主节点和核心节点的实例规格。MRS当前支持7种规格主机，主机规格的配型由CPU+内存+Disk共同决定。Master节点支持规格c2.4xlarge、s1.4xlarge和s1.8xlarge，流式集群Core节点支持规格s1.xlarge、c2.2xlarge、c2.4xlarge、s1.4xlarge、s1.8xlarge和d1.8xlarge，分析集群Core节点支持全部规格。 |
| l s1.xlarge.linux.bigdata -- 4 vCPU,16 GB | |
| − CPU：4核 | |
| − 内存：16GB | |
| − 系统Disk：40GB | |
| l c2.2xlarge.linux.bigdata -- 8 vCPU,16 GB | |
| − CPU：8核 | |
| − 内存：16GB | |
| − 系统Disk：40GB | |
| l c2.4xlarge.linux.bigdata -- 16 vCPU,32 GB | |
| − CPU：16核 | |
| − 内存：32GB | |
| − 系统Disk：40GB | |
| l s1.4xlarge.linux.bigdata -- 16 vCPU,64 GB | |
| − CPU：16核 | |
| − 内存：64GB | |
| − 系统Disk：40GB | |
| l s1.8xlarge.linux.bigdata -- 32 vCPU,128 GB | |
| − CPU：32核 | |
| − 内存：128GB | |
| − 系统Disk：40GB | |
| 说明 | |
| 节点的实例规格配置越高，数据处理分析能力越强。 | |
| 数量 | 配置主节点和核心节点的个数。 |
| Master：目前固定为2 | |
| Core：3～100 | |
| 说明 | |
| l Core节点默认的最大值为100，如果用户需要的Core节点数大于100，可以联系技术支持人员或者调用后台接口修改数据库。 | |
| l 过小的节点容量会导致您的集群运行缓慢，而过大的节点容量会产生不必要的成本，请根据您要处理的数据对集群节点数量进行调整。 | |
| 存储空间 | Core节点数据磁盘存储空间。为增大数据存储容量，创建集群时可同时购买磁盘，有如下应用场景： |
| l 数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。 | |
| l 数据存储和计算不分离，数据存储在HDFS中，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。 | |
| 目前支持SATA和SSD存储类型： | |
| l SATA：普通I/O | |
| l SSD：超速I/O | |
| 取值范围：100GB～32000GB | |
| 说明 | |
| l Master节点自动为MRS Manager增加数据磁盘存储空间，硬盘类型与Core节点数据磁盘类型相同，但磁盘空间默认为200GB且不支持修改。 |
表4-5登录信息
| 参数 | 参数说明 |
| 密钥对 | 使用密钥方式登录集群Master节点。从下拉框中选择密钥对，如果已获取私钥文件，请勾选“我确认已获取该密钥对中的私钥文件SSHkey-bba1.pem，否则无法登录弹性云服务器”。如果没有创建密钥对，请单击“查看密钥对”创建或导入密钥，然后再获取私钥文件。 |
| 密钥对即SSH密钥，包含SSH公钥和私钥。您可以新建一个SSH密钥，并下载私钥用于远程登录身份认证。为保证安全，私钥只能下载一次，请妥善保管。 | |
| 您可以通过以下两种方式中的任意一种使用SSH密钥。 | |
| l 创建SSH密钥：创建SSH密钥，同时会创建公钥和私钥，公钥保存在ECS系统中，私钥保存在用户本机。当登录弹性云服务器时，使用公钥和私钥进行鉴权。 | |
| l 导入SSH密钥：当用户已有公钥和私钥，可以选择将公钥导入系统。当登录弹性云服务器时，使用公钥和私钥进行鉴权。 |
表4-6日志管理信息
| 参数 | 参数说明 |
| 日志记录 | 租户是否开启日志收集功能。 |
| l | |
 ：开启
|
|
| l | |
 ：关闭
|
|
| 通过单击 | |
 或
|
|
| 来关闭或开启日志收集功能。 | |
| OBS桶 | 日志收集后存放的路径。 |
| 例如s3a://mrs-log-a3859af76b874760969cd24f2640bbb4-northchina | |
| 勾选“我确认OBS桶s3a://mrs-log-a3859af76b874760969cd24f2640bbb4-northchina将被创建，该桶仅用于MRS服务系统日志收集，可能产生一定的费用。” | |
| 用户创建了支持日志记录的MRS集群，当集群创建失败时，可以使用OBS服务下载日志来诊断问题。 | |
| 操作步骤： | |
| 登录OBS管理控制台。 | |
| 在桶列表中选择“mrs-log-<tenant_id>-<region_id>”桶，进入“/<cluster_id>/install_log”文件夹，下载“YYYYMMDDHHMMSS.tar.gz”日志。 | |
| 如/mrs-log-a3859af76b874760969cd24f2640bbb4-northchina/65d0a20f-bcb7-4da3-81d3-71fef12d993d/20170818091516.tar.gz。 |
表4-7组件配置信息
<td class="et3" x:str
<td class="et4" x:str="
| 参数 | 参数说明 |
| 组件选择 | l MRS 1.5.0版本配套的组件如下： |
| 分析集群组件 | |
| − Hadoop 2.7.2：分布式系统基础架构 | |
| − Spark 2.1.0：内存分布式系统框架 | |
| − Hive 1.2.1：建立在Hadoop上的数据仓库框架 | |
| − HBase 1.0.2：分布式列数据库 | |
| − Hue 3.11.0：提供Hadoop UI能力，让用户通过浏览器分析处理Hadoop集群数据 | |
| − Loader 2.0.0：基于开源sqoop 1.99.7开发，专为Apache Hadoop和结构化数据库（如关系型数据库）设计的高效传输大量数据的工具。 | |
| Hadoop为必选组件，且Spark与Hive组件需要配套使用。请根据业务选择搭配组件。 | |
| 流式集群组件 | |
| − Kafka 0.10.0.0：提供分布式消息订阅的系统。 | |
| − Storm 1.0.2：提供分布式实时计算的系统。 | |
| − Flume 1.6.0：提供分布式、高可用、高可靠的海量日志采集、聚合和传输系统。 | |
| Kerberos认证 | 登录MRS Manager管理页面时是否启用Kerberos认证。 |
| l | |
 ：“Kerberos认证”关闭时，用户可使用MRS集群的所有功能。建议单用户场景下使用。关闭Kerberos认证的集群，用户可以直接访问MRS的集群管理页面和组件，无需安全认证。
|
|
| l | |
 ：“Kerberos认证”开启时，普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能，并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能，需要找MRS Manager的管理员分配权限。建议在多用户场景下使用。
|
|
| 通过单击 | |
 或
|
|
| 来关闭或开启日志收集功能。 | |
| 用户在创建了支持Kerberos认证的MRS集群之后，可以使用MRS Manager管理运行中的集群。用户需要在公有云平台上准备一个工作环境，以访问Manager。具体操作请参见6.3 访问支持Kerberos认证的Manager。 | |
| 说明 | |
| 当用户具备MRS安全模式的公测权限时，“Kerberos认证”、“用户名”、“密码”和“确认密码”参数才显示。 | |
| 用户名 | MRS Manager管理员用户，目前默认为admin用户。 |
仅当“Kerberos认证”配置为“开启”：
|
|
| 时需要配置此参数。 | |
| 密码 | 配置MRS Manager管理员用户的密码。 |
| MRS 1.5.0需要满足： | |
| l 密码长度应在6～32个字符之间 | |
| l 必须包含如下5种中至少2种字符的组合 | |
| − 至少一个小写字母 | |
| − 至少一个大写字母 | |
| − 至少一个数字 | |
| − 至少一个特殊字符：`~!@#$%^&*()-_=+\|[{}];:'",<.>/? | |
|
− 空格
|
