百度智能云智能边缘 - 通过AI中台直接将模型下发至边缘

智能边缘

简介/价格/文档

百度智能云智能边缘 - 通过AI中台直接将模型下发至边缘

文档简介：

本文介绍如何在AI中台导入模型，然后在AI中台模型仓库直接下发模型至边缘节点。前提条件：有一个可用的测试边缘节点设备，本案例使用一个2核8G的BCC云服务器作为测试边缘节点。按照快速入门教程，将测试边缘节点连接云端。

*此产品及展示信息均由百度智能云官方提供。免费试用咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！微信咨询

免费试用、价格特惠

文档详情

本文介绍如何在AI中台导入模型，然后在AI中台模型仓库直接下发模型至边缘节点。

前提条件

有一个可用的测试边缘节点设备，本案例使用一个2核8G的BCC云服务器作为测试边缘节点。
按照快速入门教程，将测试边缘节点连接云端。
该模型是CPU模型，边缘节点Docker Runtime不能使用nvidia，必须使用runc。
该模型使用的tensorflow版本依赖avx指令，无该指令的盒子将无法运行该模型，建议更换模型或采用更高规格的边缘盒子。模型运行具体报错如下：通过命令 more /proc/cpuinfo | grep flags 可查看cpu支持的指令集。

在AI中台模型仓库导入模型

打开AI中台控制台，进入到模型仓库->模型列表，点击+导入模型，如下图所示：

在弹出导入模型右边栏当中，填写模型信息，如下图所示：

模型名称：tf_mnist_1131

模型版本：1.0.0.0

选择模型：本地上传，上传模型文件tf_mnist.zip

模型类型：TensorFlow-v1.13.1

模型存储类型：pb/pbtxt

模型方法：predict

其他：默认值

点击确认，完成模型导入，如下图：

将模型部署到端设备

点击tf_mnist_1131这模型，查看模型详情，如下图：

点击部署到端设备，在弹出框当中选择边缘节点，并设置模型服务暴露端口号，如下图：

在BIE当中查看应用部署情况

在节点管理当中，找到xw-node这个边缘节点，进入这个节点，查看应用部署，可以看到部署了一个mdl-bq5n1xciigzpg73i-1616576985应用，如下图所示：

验证边缘AI服务

准备测试数据

通过SSH登录到边缘节点，新建一个test.json文件，在测试文件当中填入测试数据，可以通过以下命令完成。

# 创建test.json
sudo vim test.json
# 输入以下内容
{"instances": [{"images": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0

.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.

0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0

, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0

.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.

0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.3294117748737335, 0.7254902124404907,

 0.6235294342041016, 0.5921568870544434, 0.2352941334247589, 0.1411764770746231, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.8705883026123047, 0.9960784912109375, 0.9960784912109375,

 0.9960784912109375, 0.9960784912109375, 0.9450981020927429, 0.7764706611633301,

 0.7764706611633301, 0.7764706611633301, 0.7764706611633301, 0.7764706611633301,

 0.7764706611633301, 0.7764706611633301, 0.7764706611633301, 0.6666666865348816,

 0.2039215862751007, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.26274511218070984, 0.44705885648727417, 0.2823529541492462, 0.44705885648727417,

 0.6392157077789307, 0.8901961445808411, 0.9960784912109375, 0.8823530077934265,

0.9960784912109375, 0.9960784912109375, 0.9960784912109375, 0.9803922176361084,

 0.8980392813682556, 0.9960784912109375, 0.9960784912109375, 0.5490196347236633,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.06666667014360428, 0.25882354378700256, 0.05490196496248245, 0.26274511218070984,

 0.26274511218070984, 0.26274511218070984, 0.23137256503105164, 0.08235294371843338,

 0.9254902601242065, 0.9960784912109375, 0.41568630933761597, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.32549020648002625, 0.9921569228172302, 0.8196079134941101, 0.07058823853731155,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.08627451211214066, 0.9137255549430847, 1.0, 0.32549020648002625,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.5058823823928833, 0.9960784912109375, 0.9333333969116211,

 0.1725490242242813, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.23137256503105164, 0.9764706492424011,

0.9960784912109375, 0.24313727021217346, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.5215686559677124,

 0.9960784912109375, 0.7333333492279053, 0.019607843831181526, 0.0, 0.0, 0.0, 0.0, 0.0, 0

.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.03529411926865578, 0.803921639919281, 0.9725490808486938, 0.22745099663734436, 0.0, 0.0

, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.

0, 0.0, 0.0, 0.0, 0.0, 0.4941176772117615, 0.9960784912109375, 0.7137255072593689, 0.0, 0

.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.29411765933036804, 0.9843137860298157, 0.9411765336990356,

0.22352942824363708, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.07450980693101883, 0.8666667342185974,

 0.9960784912109375, 0.6509804129600525, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.011764707043766975,

 0.7960785031318665, 0.9960784912109375, 0.8588235974311829, 0.13725490868091583, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0

.0, 0.0, 0.0, 0.0, 0.0, 0.14901961386203766, 0.9960784912109375, 0.9960784912109375,

 0.3019607961177826, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.12156863510608673, 0.8784314393997192,

 0.9960784912109375, 0.45098042488098145, 0.003921568859368563, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0

, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.5215686559677124, 0.9960784912109375, 0.9960784912109375, 0.2039215862751007, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.2392157018184662, 0.9490196704864502, 0.9960784912109375, 0.9960784912109375,

 0.2039215862751007, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0

, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.4745098352432251, 0.9960784912109375, 0.996078491

2109375, 0.8588235974311829, 0.1568627506494522, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0

, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.4745098352432251,

 0.9960784912109375, 0.8117647767066956, 0.07058823853731155, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0,

 0.0, 0.0]}], "signature_name": "predict_images"}

调用AI服务

在准备好测试数据以后，我们需要找出AI服务对外的ip地址，然后通过curl命令调用http服务，可以通过以下命令完成。

kubectl get pod -A -owide
curl 10.42.0.21:8010/v1/models/tf-serving:predict -X POST -d@test.json
# 因为前面做了端口映射，所以也可以直接用127.0.0.1这个地址访问服务
curl 127.0.0.1:8010/v1/models/tf-serving:predict -X POST -d@test.json

最终执行结果如下图所示：

如上图所示，给出了测试数据从0~9的概率，其中为7的概率是0.99597472，可以对上述输出结果做二次处理，然后直接返回结果7。

具体mnist数据可以参考官网。

相似文档

百度智能云智能边缘 - 通过AI中台转换模型并下发至边缘
本文介绍如何在AI中台的模型中心导入原始模型，转换成适配NVIDIA Jetson的模型文件，并下发至设备边缘。前提条件：有一个可测试的边缘节点设备。边缘节点连接至云端。有一个模型，本实验用的是一个图像分类模型fuild-mobilenceV2.zip。该模型支持识别检测猴子、鸡、狗、猫等上百种生物。
百度智能云智能边缘 - 将图像分类模型部署至边缘
本文介绍如何在AI中台的模型中心导入原始模型，然后通过模型转换，生成适配通用X86芯片/通用ARM芯片的图像分类模型，并部署至设备边缘。一、前提条件：有一个可测试的边缘节点设备。
百度智能云智能边缘 - 将物体检测模型部署至边缘
本文介绍如何在AI中台的模型中心导入原始模型，然后通过模型转换，生成适配通用X86芯片/通用ARM芯片的物体检测模型，并部署至设备边缘。一、前提条件：有一个可测试的边缘节点设备。边缘节点连接至云端管控控制台，边缘节点安装可以参考快速入门。
百度智能云智能边缘 - 部署模型SDK至Atlas200DK
1、概述：本文将介绍如何在AI中台生成目标设备的模型部署包，然后将模型部署包部署至边缘设备。本文使用的是一个安全帽模型，不需要模型序列号即可直接运行。
百度智能云智能边缘 - 部署物体检测模型
本教程说明如何将一个物体检测模型通过BIE部署至边缘节点。操作指南：导入配置项。进入配置管理。点击导入配置项。选择导入文件：配置项-easyedge-linux-mdp-4fn7k2tve4xyknp1-amd64.json 导入完毕以后，将增加一个配置项。在内网环境下，可以先下载模型文件，再上传至内网的对象存储，最后修改配置项的下载地址为内网地址。

文档中心

全民上云·上云补贴申领

免费试用（限企业）