上云无忧 > 文档中心 > 百度智能云飞桨 - 兆芯下从源码编译
飞桨PaddlePaddle开源深度学习平台
百度智能云飞桨 - 兆芯下从源码编译

文档简介:
环境准备: 处理器:ZHAOXIN KaiSheng KH-37800D。 操作系统:centos7。 Python 版本 2.7.15+/3.5.1+/3.6/3.7/3.8 (64 bit)。 pip 或 pip3 版本 9.0.1+ (64 bit)。 兆芯为 x86 架构,编译方法与Linux 下从源码编译 cpu 版一致。 安装步骤: 本文在 ZHAOXIN 处理器下安装 Paddle,接下来详细介绍各个步骤。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

环境准备

  • 处理器:ZHAOXIN KaiSheng KH-37800D

  • 操作系统:centos7

  • Python 版本 2.7.15+/3.5.1+/3.6/3.7/3.8 (64 bit)

  • pip 或 pip3 版本 9.0.1+ (64 bit)

兆芯为 x86 架构,编译方法与Linux 下从源码编译 cpu 版一致。

安装步骤

本文在 ZHAOXIN 处理器下安装 Paddle,接下来详细介绍各个步骤。

源码编译

  1. Paddle 依赖 cmake 进行编译构建,需要 cmake 版本>=3.15,如果操作系统提供的源包括了合适版本的 cmake,直接安装即可,否则需要源码安装

    wget https://github.com/Kitware/CMake/releases/download/v3.16.8/cmake-3.16.8.tar.gz 
    tar -xzf cmake-3.16.8.tar.gz && cd cmake-3.16.8 
    ./bootstrap && make && sudo make install 
  2. Paddle 内部使用 patchelf 来修改动态库的 rpath,如果操作系统提供的源包括了 patchelf,直接安装即可,否则需要源码安装,请参考patchelf 官方文档。

    ./bootstrap.sh 
    ./configure 
    make 
    make check 
    sudo make install 
  3. 将 Paddle 的源代码克隆到当下目录下的 Paddle 文件夹中,并进入 Paddle 目录

    git clone https://github.com/PaddlePaddle/Paddle.git 
    cd Paddle 
  4. 切换到develop分支下进行编译:

    git checkout develop 
  5. 根据requirments.txt安装 Python 依赖库。

    pip install -r python/requirments.txt 
  6. 请创建并进入一个叫 build 的目录下:

    mkdir build && cd build 
  7. 链接过程中打开文件数较多,可能超过系统默认限制导致编译出错,设置进程允许打开的最大文件数:

    ulimit -n 4096 
  8. 执行 cmake:

    具体编译选项含义请参见编译选项表

    For Python2:

    cmake .. -DPY_VERSION=2 -DPYTHON_EXECUTABLE=`which python2` -DWITH_MKL=ON -

    For Python3:

    cmake .. -DPY_VERSION=3 -DPYTHON_EXECUTABLE=`which python3` -DWITH_MKL=ON -
  9. DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release -DON_INFER=ON -DWITH_PYTHON=ON
    
  10. DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release -DON_INFER=ON -DWITH_PYTHON=ON
    
  11. 编译。

    make -j$(nproc)
    
  12. 编译成功后进入Paddle/build/python/dist目录下找到生成的.whl包。

  13. 在当前机器或目标机器安装编译好的.whl包:

    python2 -m pip install -U(whl 包的名字)`或`python3 -m pip install -U(whl 包的名字)
    

恭喜,至此您已完成 PaddlePaddle 在 FT 环境下的编译安装。

验证安装

安装完成后您可以使用 python 或 python3 进入 python 解释器,输入

import paddle 

再输入

paddle.utils.run_check() 

如果出现PaddlePaddle is installed successfully!,说明您已成功安装。

在 mobilenetv1 和 resnet50 模型上测试

wget -O profile.tar https://paddle-cetc15.bj.bcebos.com/profile.tar?authorization=bce
-auth-v1/4409a3f3dd76482ab77af112631f01e4/2020-10-09T10:11:53Z/-1/host/786789f344
5f498c6a1fd4d9cd3897ac7233700df0c6ae2fd78079eba89bf3fb 

tar xf profile.tar && cd profile 

python resnet.py --model_file ResNet50_inference/model --params_file ResNet50_inference/params 
# 正确输出应为:[0.0002414  0.00022418 0.00053661 0.00028639 0.00072682 0.000213 # 
 0.00638718 0.00128127 0.00013535 0.0007676 ] 

python mobilenetv1.py --model_file mobilenetv1/model --params_file mobilenetv1/params
 # 正确输出应为:[0.00123949 0.00100392 0.00109539 0.00112206 0.00101901 0.00088412 # 
 0.00121536 0.00107679 0.00106071 0.00099605] 

python ernie.py --model_dir ernieL3H128_model/ # 正确输出应为:[0.49879393 0.5012061 ] 

如何卸载

请使用以下命令卸载 PaddlePaddle:

python3 -m pip uninstall paddlepaddle 

python3 -m pip uninstall paddlepaddle 

备注

已在 ZHAOXIN 下测试过 resnet50, mobilenetv1, ernie, ELMo 等模型,基本保证了预测使用算子的正确性,如果您在使用过程中遇到计算结果错误,编译失败等问题,请到issue中留言,我们会及时解决。

预测文档见doc,使用示例见Paddle-Inference-Demo

相似文档
  • 百度昆仑 AI 计算处理器(Baidu KUNLUN AI Computing Processor)是百度集十年 AI 产业技术实践于 2019 年推出的全功能 AI 芯片。基于自主研发的先进 XPU 架构,为云端和边缘端的人工智能业务而设计。 百度昆仑与飞桨及其他国产软硬件强强组合,打造一个全面领先的国产化 AI 技术生态,部署和应用于诸多 “人工智能+“的行业领域,包括智能云和高性能计算,智慧制造、智慧城市和安防等。更多昆仑 XPU 芯片详情及技术指标请 点击这里 。 参考以下内容可快速了解和体验昆仑 XPU 芯片上运行飞桨:
  • DCU(Deep Computing Unit 深度计算器)是 海光(HYGON)推出的一款专门用户 AI 人工智能和深度学习的加速卡。Paddle ROCm 版当前可以支持在海光 CPU 与 DCU 上进行模型训练与推理。 参考以下内容可快速了解和体验在海光芯片上运行飞桨:
  • 整体介绍: NGC 飞桨容器针对 NVIDIA GPU 加速进行了优化,并包含一组经过验证的库,可启用和优化 NVIDIA GPU 性能。此容器还可能包含对 PaddlePaddle 源代码的修改,以最大限度地提高性能和兼容性。此容器还包含用于加速 ETL (DALI, RAPIDS),、训练(cuDNN, NCCL)和推理(TensorRT)工作负载的软件。
  • 飞桨支持的 Nvidia GPU 架构及安装方式、编译依赖表、编译选项表、安装包列表、多版本 whl 包列表-Release、多版本 whl 包列表-develop、使用 Docker 启动 PaddlePaddle Book 教程、使用 Docker 执行 GPU 训练。
  • 内容审核是中国电信自主研发的具有文本、图片等多媒体风险识别与拦截的审核能力,对网络中产生的文本、图片内容进行涉黄、涉政、涉暴恐等敏感内容进行识别,帮助用户控制业务的违规风险,并大幅降低人工审核的人力成本。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部