上云无忧 > 文档中心 > 百度智能云MapReduce - 查看结果
百度智能云MapReduce - 查看结果

文档简介:
在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各task的任务处理情形。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
  1. 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。

  2. Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各task的任务处理情形。

  3. 当task运行失败时,每个task有四次的重试机会,每次的重试信息记录在“查看Attempt”中。点击“MAP”和“REDUCE”对应的“查看Attempt”,查看attempt信息。

  4. 点击“作业日志”,可查看作业日志,其中Spark作业无作业日志。共有三种日志类型显示,分别是syslog、stderr和stdout。

    • Syslog是记录作业运行时的详细信息;

    • stderr是记录运行作业时的错误信息;
    • stdout记录作业运行完毕后的输出信息;

相似文档
  • Hadoop Streaming简介: 本文以分析Web日志统计每日请求量为例,介绍如何在百度智能云平台使用Hadoop Streaming。 在BMR集群中,您可以使用python、shell、C++等任何您熟悉的编程语言开发Hadoop Streaming作业。
  • Spark简介: 本文以分析Web日志统计每天的PV和UV为例,介绍如何在百度智能云平台使用Spark。 Spark是开源的大规模数据处理引擎。Spark的先进的DAG执行引擎支持周期性数据流和内存计算,在内存中的运算速度是MapReduce的100倍以上,在硬盘中的运算速度是MapReduce的10倍以上。
  • Hive简介: 本文以分析Web日志统计用户访问次数最多的前5个小时段为例,介绍如何在百度智能云平台使用Hive。MapReduce提供了两种使用Hive的方式: 通过Hue使用Hive,请参考Hue。 控制台中提交Hive作业。
  • HBase简介: 本文以分析Web日志统计每天的PV和UV为例,介绍如何在百度智能云平台使用HBase。 HBase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,能够利用HDFS的分布式处理模式和Hadoop的MapReduce程序模型。HBase融合key/value存储模式带来实时查询的能力,以及通过MapReduce进行离线处理或者批处理的能力。
  • Sqoop简介: 本样例场景是:通过Sqoop将RDS上的数据导入Hive,Hive中的数据表的location为BOS路径,Hive数据表的partition为dt(string),根据dt指定日期,区分每一天的导入数据。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部