上云无忧 > 文档中心 > 百度智能云智能边缘 - AI加速卡通用资源调度方法
智能边缘
百度智能云智能边缘 - AI加速卡通用资源调度方法

文档简介:
说明: AI加速卡的资源调度主要是通过k8s device-plugin方式实现。与NVIDIA GPU资源调度的最大不同是,通用调度方法只支持 按卡 级别调度,而NVIDIA GPU支持按照 显存 大小来调度。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

说明

AI加速卡的资源调度主要是通过k8s device-plugin方式实现。与NVIDIA GPU资源调度的最大不同是,通用调度方法只支持 按卡 级别调度,而NVIDIA GPU支持按照 显存 大小来调度。

通用资源调度方法支持NVIDIA Jetson、比特大陆1684、华为昇腾310、寒武纪MLU270、百度昆仑XPU等。

操作指南

节点创建

  1. 针对这几种 AI加速卡,需要在创建节点时选择对应的加速卡,如下图所示:

调度组件安装

  1. 以Jetson为例,在创建节点时选择了NVIDIA Jetson加速卡,在节点的详情页,查看【AI加速卡】子菜单。

  1. 点击【配置】弹出弹出对话框,复制应用安装命令,在边缘节点上执行,用于安装AI加速卡调度插件。

  1. 执行过程中会列出当前集群节点,需要输入节点确认。在这里只有一个节点jetson,输入jetson并回车即可。

  1. 安装完成后,可以执行kubectl get pod -n kube-system,查看资源分配组件已运行。

  1. 卸载资源分配组件是类似的流程。点击【配置】弹出对话框,复制应用卸载命令,在边缘节点上执行。输入当前节点jetson回车即可完成应用卸载。

  1. 比特大陆1684、昇腾310的资源分配组件安装过程和jetson安装过程一致,此处不再赘述。

资源调度

  1. 安装好 AI加速卡资源调度组件 后,在节点关联的应用中可以配置AI加速卡资源。在应用服务配置中,选择高级配置:

  1. 点击添加资源限制:

  1. 分配AI加速卡资源仅支持 >=1 的整数,且不能超过边缘节点的所有GPU数量。如配置了超过边缘节点的GPU数量,应用无法启动。配置完资源限制后,点击【确定】即可在边缘应用生效。

比特大陆1684不支持配置数量,数值只可为1。

相似文档
  • 功能简介: 智能边缘BIE支持了多种边缘AI加速卡显存使用情况指标采集。针对当前未支持的AI加速卡种类,BIE提供了自定义AI加速卡算力采集的功能。
  • 一、硬件准备: 本文使用的设备是jetson nano,也可以使用Jetson Xavier TX2/NX/AGX等设备。 二、jetpack依赖: 本实验使用的模型依赖于JetPack 4.4,在安装 JetPack 时务必安装对应的组件: 使用 SDK Manager 安装 JetPack 需要勾选 TensorRT、OpenCV、CUDA、cuDNN 等选项。
  • 前言: 本文介绍百度智能边缘BIE如何纳管 NVIDIA Jetson设备,并实现对Jetson的资源监控。 实验设备: 一台 NVIDIA Jetson NX 设备,参数信息如下: 操作系统:Ubuntu 18.04 desktop。 边缘侧安装 k3s+docker。 Jetpack: 4.5。
  • 前言: 本文介绍百度智能边缘BIE如何纳管使用NVIDIA GPU的边缘节点,并实现对NVIDIA GPU的资源监控。此处提到的使用NVIDIA GPU的边缘节点,一般特指使用了NVIDIA GPU AI加速卡的x86架构的GPU服务器,GPU AI加速卡可以是NVIDIA T4/P4/V100/A100/3090等。
  • 功能说明: GPU显存共享功能主要是为了支持多个边缘AI服务可以运行在多张GPU卡上这个特性。当边缘节点上运行多个AI服务的时候,默认情况下,多个AI服务都会运行在GPU卡1上。这样即使边缘节点有多张AI计算卡,也无法动态调用到GPU卡2。使用GPU共享功能,通过设置边缘AI服务的显存容量需求,实现边缘AI服务在多卡之间的动态调度。GPU共享功能仅支持NVIDIA GPU amd64架构。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部