上云无忧 > 文档中心 > 百度智能云MapReduce - 编译Maven项目
百度智能云MapReduce - 编译Maven项目

文档简介:
Maven项目包样例: 百度智能云提供了以下组件的Maven项目样例代码,您可通过GitHub克隆代码至本地设计自己的程序:MapReduce。 Linux环境下使用命令行编译Maven项目: 以Ubuntu 14.04环境为例,介绍Maven的安装和编译。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

Maven项目包样例

百度智能云提供了以下组件的Maven项目样例代码,您可通过GitHub克隆代码至本地设计自己的程序:MapReduce

Linux环境下使用命令行编译Maven项目

以Ubuntu 14.04环境为例,介绍Maven的安装和编译。

  1. 安装JDK。

    1). Maven依赖Java运行环境,因此使用Maven之前需要确认正确安装JDK1.4及以上的版本。执行命令:sudo apt-get install openjdk-7-jdk。

    2). 设置JAVA_HOME环境变量:export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/。

    3). 验证JDK安装正确:java -version。若显示如下内容则安装正确:

    java version "1.7.0_60"
    Java(TM) SE Runtime Environment (build 1.7.0_60-b19)
    Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)
  2. 安装Maven。

    1). 下载Maven并安装:sudo apt-get install maven。 2). 验证Maven安装正确:mvn -version。若显示如下内容则安装正确:

    Apache Maven 3.0.5
    Maven home: /usr/share/maven
    Java version: 1.7.0_95, vendor: Oracle Corporation
    Java home: /usr/lib/jvm/java-7-openjdk-amd64/jre
    Default locale: en_US, platform encoding: UTF-8
    OS name: "linux", version: "3.13.0-32-generic", arch: "amd64", family: "unix"
  3. 本地安装Git:sudo apt-get install git。
  4. 编译Maven项目生成jar文件。本文以编译百度智能云提供的样例Maven项目包MapReduce为例。

    1). 通过GitHub克隆Maven项目包至本地:git clone https://github.com/BCEBIGDATA/bmr-sample-java.git。

    2). cd至源文件所在目录,即“/{yourPath}/bmr-sample-java-master/mapreduce”。

    3). 执行编译命令mvn clean install生成jar包,生成的jar文件会存放在Maven项目包所在目录的target文件夹中,即“/{yourPath}/bmr-sample-java-master/bmr-sample-java-master/mapreduce/target/mapreduce-1.0-SNAPSHOT.jar”。

Windows环境下使用命令行编译Maven项目

介绍Maven的安装和编译。

  1. 安装JDK。

    1). Maven依赖Java运行环境,因此使用Maven之前需要确认正确安装JDK1.4及以上的版本,请阅读Maven官网的bin包对应的Java版本并下载安装JDK。本示例中采用JDK1.7版本,本地安装路径是C:\Program Files\Java\jdk1.7.0_79。下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。

    2). 设置环境变量。打开“计算机>属性>高级系统设置>环境变量”,在“系统变量”栏点击“新建”,Java环境变量:

    • 变量名:JAVA_HOME
    • 变量值:C:\Program Files\Java\jdk1.7.0_79
  2. 安装Maven。

    1). Maven官方网站下载Maven的bin。

    2). Maven压缩包解压至本地。本例解压至D:/Maven,目录结构如下:

    D:\Maven的目录
    |-- bin
    |-- conf
    |-- core
    |-- lib
    |-- local

    3). 设置环境变量。打开“计算机>属性>高级系统设置>环境变量”,在“系统变量”栏找到“PATH”点击“编辑”,在变量值的最后输入“;%MAVEN_HOME%\bin”。点击“新建”,新建Maven环境变量:

    • 变量名:MAVEN,变量值:%MAVEN_HOME%\bin
    • 变量名:MAVEN_HOME,变量值:D:/Maven

      4). 在本机DOS环境下输入:mvn -v,若显示如下内容,则安装正确。

    Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-17+08:00)
    Maven home: D:\Maven204\bin\..
    Java version: 1.7.0_79, vendor: Oracle Corporation
    Java home: C:\Program Files\Java\jdk1.7.0_79\jre
    Default locale: zh_CN, platform encoding: GBK
    OS name: "windows 7", version: "6.1", arch: "amd64", family: "windows"
  3. 编译Maven项目生成jar文件。本文以编译样例Maven项目包MapReduce为例。

1). 下载百度智能云提供的示例代码至本地。浏览器中打开https://github.com/BCEBIGDATA/bmr-sample-java。点击“Clone or download>Download ZIP”,下载至本地后解压。 2). 本机DOS环境下cd至源文件所在目录,即“{yourPath}\bmr-sample-java-master\mapreduce”。 3). 执行编译命令mvn clean install。 4). 生成的jar文件会存放在Maven项目包所在目录的target文件夹中,即“{yourPath}\bmr-sample-java-master\bmr-sample-java-master\mapreduce\target\mapreduce-1.0-SNAPSHOT.jar”。

使用Eclipse编译Maven项目

本文介绍使用Eclipse编译百度智能云提供的样例Maven项目包,项目包存放地址:https://github.com/BCEBIGDATA/bmr-sample-java。具体操作如下:

  1. 官网下载Eclipse。本文以Eclipse Neon.1a Release (4.6.1)为例。
  2. 打开Eclipse,菜单栏选择“Window>Preferences>Java>Install JRE”,确保勾选了系统安装的JDK。
  3. 导入百度智能云提供的示例项目。

    1. Eclipse的菜单栏选择“File>Import”,选择“Git>Projects from Git”,点击“Next”。
    2. 选择“Clone URI”,点击“Next”。
    3. 在URI栏中输入需克隆的Git地址:https://github.com/BCEBIGDATA/bmr-sample-java。点击“Next”。

    4. 保持默认配置即创建本地仓库master,点击“Next”即可。
    5. Directory栏输入本地仓库的存储地址“..{yourPath}\bmr-sample-java”,点击“Next”。

    6. 选择“Import as general project”后,系统会自动识别本地仓库地址“..{yourPath}\bmr-sample-java”,点击“Next”。

    7. 保持默认的项目名称“bmr-sample-java”,点击“Finish”,即可完成项目导入。
  4. 编译Maven项目输出jar文件。选择导入的Maven项目“mapreduce>pom.xml”后,菜单栏打开“Run>Run As>Maven install"即启动编译。
  5. 编译成功后,生成的jar文件会存放在本地Maven项目所在目录的target文件夹中,即“{yourPath}\bmr-sample-java\mapreduce\target\mapreduce-1.0-SNAPSHOT.jar”。

使用Netbeans编译Maven项目

  1. 下载并安装Netbeans6.7或以上版本,其中已经集成了Maven。
  2. 导入百度智能云提供的示例项目。

    1). 打开Netbeans,菜单栏选择“团队开发(M)>Git(G)>克隆”,在资源库URL栏输入百度智能云提供的示例地址:https://github.com/BCEBIGDATA/bmr-sample-java。并指定本地仓库地址“..{yourPath}\bmr-sample-java”,点击“下一步”。

    2). 保持默认配置即创建本地仓库master,点击“下一步”。 3). 保持默认配置,点击“完成”即可。

    4). 系统启动代码克隆,完成后请在弹出的对话框中选择“打开项目”,即可在左侧项目栏中查看已导入的项目。

  3. 编译Maven项目输出jar文件。

    1). 打开mapreduce模块。选择左侧项目栏中的“bmr>模块>mapreduce”,右键选择“打开项目”,即可打开Maven项目mapreduce。

    2). 选择已打开的Maven项目mapreduce,点击菜单栏中的“运行>清理并构建项目”。

  4. 编译成功后,生成的jar文件会存放在本地Maven项目所在目录的target文件夹中,即“{yourPath}\bmr-sample-java\mapreduce\target\mapreduce-1.0-SNAPSHOT.jar”。
相似文档
  • 介绍: 多用户访问控制,主要用于帮助用户管理云账户下资源的访问权限,适用于企业内的不同角色,可以对不同的工作人员赋予使用产品的不同权限,当您的企业存在多用户协同操作资源时,推荐您使用多用户访问控制。
  • 概览: 通过定时任务创建BMR集群,分析日志数据,定时释放集群,为用户大大节约了使用成本。 需求场景: 对于业务稳定且有规律的用户,日志的峰值和低谷的规律一般是固定的。对于有规律的日志业务场景,用户只需要在特定的时间段内用集群进行分析即可,其余时间无需使用集群。
  • 概览: 网站日志包含用户访问信息,通过日志分析我们可以了解网站的访问量、网页访问次数、网页访问人数、频繁访问时段等等,以便获取用户行为以优化网站的商业价值。由于网站每天会产生海量的日志,非常适合使用MapReduce(简称BMR)这样的托管Hadoop服务。
  • MapReduce混部方案可以让您以“分时”的方式使用BCC云服务器,即在云服务器BCC繁忙的时候专注自身业务,空闲的时候分一部分精力帮助BMR集群的大数据计算。既提高了云服务器BCC的资源利用率,也提高了BMR集群的计算能力,降低总体IT支出。
  • 在本示例中,hive数据表的location为BOS路径,hive数据表的partition为dt(string),根据dt指定日期,区分每一天的导入数据。 说明: 由于hive数据表的location为BOS,无法直接通过sqoop将RDS的数据导入hive,因为hive在加载数据时,会先将数据写入本地hdfs,然后将数据所在目录移动到hive表的location上。由于本地hdfs和BOS数据两个不同的文件系统,直接进行移动操作会抛出异常。因此,本场景需要“数据导入BOS”和“数据导入hive”两个步骤。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部