文档中心

简介

本文档介绍Windows GPU SDK的使用方法。

• 网络类型支持：图像分类，物体检测，图像分割、声音分类

• 硬件支持：

  • NVIDIA GPU （普通版，加速版）

• 操作系统支持

  • 64位 Windows 7 及以上
  • 64位Windows Server 2012及以上

• 环境依赖（必须安装以下版本）

  • .NET Framework 4.5
  • Visual C++ Redistributable Packages for Visual Studio 2013
  • Visual C++ Redistributable Packages for Visual Studio 2015

• GPU非目标跟踪基础版（EasyEdge-win-x86-nvidia-gpu）依赖（必须安装以下版本）

  • CUDA 9.0.x + cuDNN 7.6.x 或者 CUDA 10.0.x + cuDNN 7.6.x 或者 CUDA 11.0.x + cuDNN 8.0.x

• GPU目标跟踪基础版（EasyEdge-win-x86-nvidia-gpu-torch）依赖（必须安装以下版本）

  • CUDA 11.0.x + cuDNN 8.0.x

• GPU加速版（EasyEdge-win-x86-nvidia-gpu-tensorrt）依赖（必须安装以下版本）

  • CUDA 9.0.x + cuDNN 7.6.x 或者 CUDA 10.0.x + cuDNN 7.6.x
  • TensorRT 7.x 必须和CUDA版本对应

• GPU加速版（EasyEdge-win-x86-nvidia-gpu-paddletrt）依赖（必须安装以下版本）

  • CUDA 11.0.x + cuDNN 8.0.x
  • TensorRT 7.1.3.4 必须和CUDA版本对应

• 协议

  • HTTP
• 更详细的环境说明可参考SDK内的
  README.md

Release Notes

快速开始

1. 安装依赖

安装.NET Framework4.5

https://www.microsoft.com/zh-CN/download/details.aspx?id=42642

Visual C++ Redistributable Packages for Visual Studio 2013

https://www.microsoft.com/zh-cn/download/details.aspx?id=40784

Visual C++ Redistributable Packages for Visual Studio 2015

https://www.microsoft.com/zh-cn/download/details.aspx?id=48145

如果使用GPU版SDK，请安装CUDA + cuDNN

https://developer.nvidia.com/cuda
https://developer.nvidia.com/cudnn

如果使用GPU版加速版SDK（EasyEdge-win-x86-nvidia-gpu-tensorrt），请安装TensorRT

https://developer.nvidia.com/tensorrt

根据cuda版本下载：
cuda9.0: TensorRT-7.0.0.11.Windows10.x86_64.cuda-9.0.cudnn7.6
cuda10.0: TensorRT-7.0.0.11.Windows10.x86_64.cuda-10.0.cudnn7.6
cuda10.2: 不支持，请降级为cuda10.0

下载后把lib目录下的所有dll，拷贝到SDK的dll目录下

如果使用GPU版加速版SDK（EasyEdge-win-x86-nvidia-gpu-paddletrt），请安装TensorRT

https://developer.nvidia.com/tensorrt

根据cuda版本下载：
cuda11.0: TensorRT-7.1.3.4.Windows10.x86_64.cuda-11.0.cudnn8.0

下载后把lib目录下的所有dll，拷贝到SDK的dll目录下

如果使用声音分类，请安装以下依赖

· 安装six
打开cmd，进入sdk包所在目录。执行EasyEdge-win-mXXXX-x86-nvidia-gpu\python37\python.exe -m pip install -U 

 six -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

· 安装librosa
打开cmd，进入sdk包所在目录。执行EasyEdge-win-mXXXX-x86-nvidia-gpu\python37\python.exe -m

 pip install -U  librosa -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

注意事项

1. 安装目录不能包含中文
2. Windows Server 请自行开启，选择“我的电脑”——“属性”——“管理”——”添加角色和功能“——勾选”桌面体验“，点击安装，安装之后重启即可。

2. 运行离线SDK

解压下载好的SDK，SDK默认使用cuda9版本，如果需要cuda10请运行EasyEdge CUDA10.0.bat切换到cuda10版本，之后打开EasyEdge.exe，输入Serial Num  点击"启动服务"，等待数秒即可启动成功，本地服务默认运行在

http://127.0.0.1:24401/

其他任何语言只需通过HTTP调用即可。

Demo示例(以图像服务为例)

服务运行成功，此时可直接在浏览器中输入http://127.0.0.1:24401，在h5中测试模型效果。 

使用说明

图像服务调用说明

Python 使用示例代码如下

import requests with open('./1.jpg', 'rb') as f: img = f.read() ## params 为GET参数 data 为POST 

Body result = requests.post('http://127.0.0.1:24401/', params={'threshold': 0.1}, data=img).json()

C# 使用示例代码如下

FileStream fs = new FileStream("./img.jpg", FileMode.Open); BinaryReader br 

= new BinaryReader(fs); byte[] img = br.ReadBytes((int)fs.Length); br.Close(); fs.Close(); 

string url = "http://127.0.0.1:8402?threshold=0.1"; HttpWebRequest request =

(HttpWebRequest)HttpWebRequest.Create(url); request.Method = "POST"; Stream stream 

= request.GetRequestStream(); stream.Write(img, 0, img.Length); stream.Close(); 

WebResponse response = request.GetResponse(); StreamReader sr = new StreamReader

(response.GetResponseStream());Console.WriteLine(sr.ReadToEnd()); sr.Close(); response.Close();

C++ 使用示例代码如下，需要安装curl

#include <sys/stat.h> #include <curl/curl.h> #define S_ISREG(m) (((m) & 0170000) 

== (0100000))  #define S_ISDIR(m) (((m) & 0170000) == (0040000))  int main(int argc,

 char *argv[]) { const char *post_data_filename = "./img.jpg"; FILE *fp = NULL; struct

 stat stbuf = { 0, }; fp = fopen(post_data_filename, "rb"); if (!fp) { fprintf(stderr,

 "Error: failed to open file \"%s\"\n", post_data_filename); return -1; } if (fstat(fileno(fp),

 &stbuf) || !S_ISREG(stbuf.st_mode)) { fprintf(stderr, "Error: unknown file size \"%s\"\n",

 post_data_filename); return -1; } CURL *curl; CURLcode res; curl_global_init(CURL_GLOBAL_ALL); 

curl = curl_easy_init(); if (curl != NULL) { curl_easy_setopt(curl, CURLOPT_URL, "http://127.

0.0.1:24401?threshold=0.1"); curl_easy_setopt(curl, CURLOPT_POST, 1L); curl_easy_setopt(curl, 

CURLOPT_POSTFIELDSIZE_LARGE,(curl_off_t)stbuf.st_size); curl_easy_setopt(curl, CURLOPT_READDATA, 

(void *)fp); res = curl_easy_perform(curl); if (res != CURLE_OK) { fprintf(stderr, 

"curl_easy_perform() failed: %s\n", curl_easy_strerror(res)); } curl_easy_cleanup(curl); 

} curl_global_cleanup(); fclose(fp); return 0; }

请求参数

HTTP POST Body直接发送图片二进制。

返回参数

关于矩形坐标

x1 * 图片宽度 = 检测框的左上角的横坐标

y1 * 图片高度 = 检测框的左上角的纵坐标

x2 * 图片宽度 = 检测框的右下角的横坐标

y2 * 图片高度 = 检测框的右下角的纵坐标

图像分割

返回结果格式参考API调用文档 代码参考 https://github.com/Baidu-AIP/EasyDL-Segmentation-Demo

声音服务调用说明

Python 使用示例代码如下

import requests with open('./1.mp3', 'rb') as f: audio = f.read() ## params 为GET参数 

data 为POST Body result = requests.post('http://127.0.0.1:24401/', params={'threshold': 0.1},

 data=audio).json()

C# 使用示例代码如下

FileStream fs = new FileStream("./audio.mp3", FileMode.Open); BinaryReader br = new BinaryReader(fs); 

byte[] audio = br.ReadBytes((int)fs.Length); br.Close(); fs.Close(); string url 

= "http://127.0.0.1:8402?threshold=0.1"; HttpWebRequest request = (HttpWebRequest)

HttpWebRequest.Create(url); request.Method = "POST"; Stream stream = request.GetRequestStream();

 stream.Write(audio, 0, audio.Length); stream.Close(); WebResponse response = request.GetResponse()

; StreamReader sr = new StreamReader(response.GetResponseStream()); Console.WriteLine(sr.ReadToEnd())

; sr.Close(); response.Close();

C++ 使用示例代码如下，需要安装curl

#include <sys/stat.h> #include <curl/curl.h> int main(int argc, char *argv[]) 

{ const char *post_data_filename = "./audio.mp3"; FILE *fp = NULL; struct stat stbuf 

= { 0, }; fp = fopen(post_data_filename, "rb"); if (!fp) { fprintf(stderr, "Error:

 failed to open file \"%s\"\n", post_data_filename); return -1; } if (fstat(fileno(fp),

 &stbuf) || !S_ISREG(stbuf.st_mode)) { fprintf(stderr, "Error: unknown file size \"%s\"\n", 

post_data_filename); return -1; } CURL *curl; CURLcode res; curl_global_init(CURL_GLOBAL_ALL);

 curl = curl_easy_init(); if (curl != NULL) { curl_easy_setopt(curl, CURLOPT_URL, "http://127

.0.0.1:24401?threshold=0.1"); curl_easy_setopt(curl, CURLOPT_POST, 1L); curl_easy_setopt(curl,

 CURLOPT_POSTFIELDSIZE_LARGE,(curl_off_t)stbuf.st_size); curl_easy_setopt(curl, CURLOPT_READDATA,

 (void *)fp); res = curl_easy_perform(curl); if (res != CURLE_OK) { fprintf(stderr,

 "curl_easy_perform() failed: %s\n", curl_easy_strerror(res)); } curl_easy_cleanup(curl); 

} curl_global_cleanup(); fclose(fp); return 0; }

请求参数

HTTP POST Body直接发送声音二进制。

返回参数

集成指南

基于HTTP集成

通过EasyEdge.exe启动服务后，参照上面的调用说明，通过HTTP请求集成到自己的服务中

基于c++ dll集成

集成前提

解压开的SDK包中包含src、lib、dll、include四个目录才支持基于c++ dll集成

集成方法

参考src目录中的CMakeLists.txt进行集成

基于c# dll集成

集成前提

解压开的SDK包中包含src\demo_serving_csharp、dll两个目录才支持基于c# dll集成

集成方法

参考src\demo_serving_csharp目录中的CMakeLists.txt进行集成

FAQ

1. 服务启动失败，怎么处理？

请确保相关依赖都安装正确，版本必须如下： .NET Framework 4.5 Visual C++ Redistributable Packages for Visual Studio 2013 * Visual C++ Redistributable Packages for Visual Studio 2015

GPU依赖，版本必须如下： * CUDA 9.0.x + cuDNN 7.6.x 或者 CUDA 10.0.x + cuDNN 7.6.x

GPU加速版（EasyEdge-win-x86-nvidia-gpu-tensorrt）依赖，版本必须如下： CUDA 9.0.x + cuDNN 7.6.x 或者 CUDA 10.0.x + cuDNN 7.6.x TensorRT 7.x 必须和CUDA版本对应

GPU加速版（EasyEdge-win-x86-nvidia-gpu-paddletrt）依赖，版本必须如下： CUDA 11.0.x + cuDNN 8.0.x TensorRT 7.1.3.4 必须和CUDA版本对应

2. 服务调用时返回为空，怎么处理？

调用输入的图片必须是RGB格式，请确认是否有alpha通道。

3. 多个模型怎么同时使用？

SDK设置运行不同的端口，点击运行即可。

4. JAVA、C#等其他语言怎么调用SDK?

参考 https://ai.baidu.com/forum/topic/show/943765

5. 启动失败，缺失DLL?

打开EasyEdge.log，查看日志错误，根据提示处理 缺失DLL，请使用 https://www.dependencywalker.com/ 查看相应模块依赖DLL缺失哪些，请自行下载安装

6. 启动失败，报错NotDecrypted?

Windows下使用，当前用户名不能为中文，否则无法正确加载模型。

7. 启动失败，报错 SerialNum无效

日志显示failed to get/check device id(xxx)或者Device fingerprint mismatch(xxx) 此类情况一般是设备指纹发生了变更，包括（但不局限于）以下可能的情况：

• mac 地址变化
• 磁盘变更
• bios重刷

以及系统相关信息。

遇到这类情况，请确保硬件无变更，如果想更换序列号，请先删除 C:\Users\${用户名}\.baidu\easyedge 目录，再重新激活。

其他问题

如果无法解决，可到论坛发帖： https://ai.baidu.com/forum/topic/list/199 描述使用遇到的问题，我们将及时回复您的问题。