上云无忧 > 文档中心 > 百度智能云MapReduce管理作业 - 定时任务
百度智能云MapReduce管理作业 - 定时任务

文档简介:
简介: 通过定时任务您可定时启动集群运行作业。需预先规划时间策略,并依据时间策略存储输入数据,再创建定时任务,并可对已创建的定时任务修改时间策略。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

简介

通过定时任务您可定时启动集群运行作业。需预先规划时间策略,并依据时间策略存储输入数据,再创建定时任务,并可对已创建的定时任务修改时间策略。

规划准备

  1. 请预先规划时间策略,即自动启动集群运行作业的时间。本文以自2015年12月11日19点55分至2015年12月18日19点55分期间每半小时自动启动集群为例。
  2. 请确定数据在BOS中的存储地址,并根据规划好的时间策略存储输入数据。依照例子中的时间策略,地址分别是bos://{bucket_name}/input/201512111955/data.txt,bos://{bucket_name}/input/201512112025/data.txt,bos://{bucket_name}/input/201512112055/data.txt,如此类推。

创建定时任务

  1. 在“产品服务>MapReduce>MapReduce-定时任务”页中,点击“创建任务”,进入创建定时任务页。
  2. 配置“任务参数”区:

    • 在“任务名称”栏输入任务名称。
    • 在“集群模板”栏选择设置定时任务的集群模板。
  3. 配置“执行策略”区:

    • 在“执行频率”栏,可设置间隔的分钟数、小时数和天数。其中,最小间隔不能小于5分钟。
    • 在“任务开始方式”栏,选择“立即开始”则即刻开始执行任务,选择“Y-M-D H:M:S”则指定开始任务的具体时间点。
    • 在“任务结束方式”栏,选择“永不结束”则任务无结束时间,选择“Y-M-D H:M:S”则指定结束任务的具体时间点。
  4. 在“作业设置”区,点击“添加作业”,在弹出的对话框内参照创建作业的步骤2的信息说明设置作业参数,其中输入bos输入\输出地址时依照时间策略输入带有%Y%m%d%H%M字串的地址。依照例子中的时间策略,bos输入地址是:bos://{Bucket_name}/input/%Y%m%d%H%M/data.txt。bos输出地址是:bos://{Bucket_name}/output/%Y%m%d%H%M,作业设置完毕后请点击“确定”完成定时任务的作业添加。
  5. 点击“完成”,定时任务创建完毕。

  6. 系统启动集群时可根据输入/输出地址自动匹配字符串对应时间的文件夹。即2015年12月11日15:38启动集群时调用地址是bos://{bucket_name}/input/201512111538/data.txt的数据,运行结果自动输出至地址是bos://{Bucket_name}/output/201512111538文件夹内。
  7. 可在“产品服务>MapReduce>MapReduce-定时任务”页中查看已创建的任务。
  8. 点击已创建定时任务对应的“查看执行历史”可查看任务执行记录。
  9. (可选)点击“停止”,可暂停该任务,点击“开启”,可重新启动该任务。

修改定时任务

对已创建的定时任务,您可修改时间策略和作业。具体操作如下:

  1. 在“产品服务>MapReduce>MapReduce-定时任务”页中,点击已创建的定时任务,打开“定时任务详情”页。
  2. 修改时间策略:在“执行详情”区,点击“调整执行策略”,在弹出的对话框中设定新的执行策略后,点击“确定”即可。
  3. 修改作业:在“作业信息”区,可修改或删除已有作业,点击作业名称对应的“编辑”或“删除”按钮即可。也可添加新的作业,点击“添加作业”,在弹出的对话框内参照创建作业的步骤2的信息说明设置作业参数。
相似文档
  • 概述: Hadoop Manger是BMR产品为用户提供的细粒度hadoop管理平台,提供集群监控、服务管理、hadoop多租户管理功能。 登录系统: 选择“产品服务>数据分析>百度MapReduce>集群”,进入集群列表页面。
  • Sqoop导入数据: 在使用BMR添加作业之前,用户需要将被分析的数据上传到BOS中,具体操作请参考BOS上传Object。 您可通过Sqoop把关系型数据库RDS中的数据导入到BOS、HDFS、HBase或Hive中。具体操作如下:
  • Sqoop导出数据: 在使用BMR对数据进行分析之后,分析的结果数据被保存在BOS的指定目录下,用户可以进入BOS中将结果数据导出,具体操作请参考BOS下载Object。 您可通过Sqoop把BOS或HDFS的数据导出至关系型数据库RDS中。
  • 使用HBase存储数据需正确安装HBase,操作详情如下: 安装HBase。请在创建集群时安装HBase,具体操作请参考创建集群。HBase安装成功后,HBase的Master部署在BMR的Master节点,Region Server部署在BMR的Core节点。
  • Maven项目包样例: 百度智能云提供了以下组件的Maven项目样例代码,您可通过GitHub克隆代码至本地设计自己的程序:MapReduce。 Linux环境下使用命令行编译Maven项目: 以Ubuntu 14.04环境为例,介绍Maven的安装和编译。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部