上云无忧 > 文档中心 > 百度智能云全功能AI开发平台BML公有云部署简介
飞桨BML 全功能AI开发平台
百度智能云全功能AI开发平台BML公有云部署简介

文档简介:
公有云部署即将模型中的模型部署为在线服务,从而以REST API的方式提供推理预测能力。 公有云部署概要: 模型仓库中的模型与公有云部署即在线服务是一一对应的关系,即模型仓库中一个模型包含多个版本时,这些不同的版本只能部署到同一个在线服务中。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

公有云部署即将模型中的模型部署为在线服务,从而以REST API的方式提供推理预测能力。

公有云部署概要

模型仓库中的模型与公有云部署即在线服务是一一对应的关系,即模型仓库中一个模型包含多个版本时,这些不同的版本只能部署到同一个在线服务中。

在线服务当前仅允许一个模型版本处于上线状态,若上线时有其它模型版本在线,则会将当前版本下线并上线新的版本。

对于在线的模型版本,可以执行扩缩容操作。

服务状态说明

服务状态及其含义如下所示:

模型状态 说明
运行中 服务运行中,会产生费用,当不适用时请下线模型
休眠中 不占用计算资源,不会产生费用,当有新的请求流量时,系统会自动将模型置为运行状态
停止 无运行的模型,不占用资源,不产生费用,无法处理新的预测请求
更新中 当执行模型版本切换时,服务处于更新中的状态
部署失败 由于暂无资源、模型文件不正确等导致模型部署失败,从而无法提供预测服务
模型待编辑 尚未配置资源的模型处于该状态

 

公有云部署支持的模型类型

模型仓库中的如下类型的模型支持共有云部署:

  • 来自BML训练任务的模型,包括脚本调参、Notbeook以及自定义作业
  • 对于用户从本地导入的模型,则如下类型的模型支持公有云部署:

    • 框架为PaddlePaddle、TensorFlow、PyTorch的深度学习模型
    • 基于Sklearn、XGBoost的机器学习模型

服务休眠策略

服务休眠是指若服务在指定的时长内无请求,则释放资源并进入休眠状态,该状态下不会产生费用,当接受到新的请求后,服务会自动恢复到正常状态(约1分钟),但休眠以及恢复过程中,接收的请求无法正常处理。

休眠策略状态说明:

休眠策略状态 说明
未配置休眠策略,新建的服务默认无休眠策略,处于该状态
生效中 表示当前休眠策略处于有效期内
未生效 表示当前尚未进入休眠策略的有效期
已失效 表示当前时间已超出了休眠策略的有效期
相似文档
  • 公有云部署是最快捷的模型部署方式,不同类型的模型在执行公有云部署时流程基本一致,当部署后在线API的接口与模型有关。 根据不同的模型类型,可以参考如下章节完成模型部署: 视觉模型公有云部署。 NLP模型公有云部署。 表格预测模型公有云部署。 通用模型公有云部署。
  • 公有云部署支持休眠策略,从而实现服务的自动休眠,以帮助用户减少支出。 前提条件: 已创建的在线服务支持配置休眠策略。 操作步骤: 在左侧导航栏中选择“模型部署”>“公有云部署”。 在服务列表页中,单击已创建服务所在行的“设置休眠策略”。 配置休眠策略,如下图所示:
  • BML在线服务中,同一服务支持同时部署两个模型上线,并且可以自由的调节流量分配占比。 前提条件: 已创建的在线服务,处于运行中状态时,允许添加一个AB测试版本模型上线。 操作步骤: 在左侧导航栏中选择“模型部署”>“在线服务”。 服务列表中,对于处于运行中状态的服务,点击"新增版本",添加AB测试版本。
  • 批量预测是一种进行批量数据推理的方式。用户可以上传批量数据进行推理,在数据处理完成后自动停止。支持设置定时循环任务。 批量预测服务的入口在公有云部署的tab下,点击新建预测即可进入填写批量预测服务的详细表单。
  • EasyDL从2017年11月中旬起,在国内率先推出针对AI零算法基础或者追求高效率开发的企业用户的零门槛AI开发平台,提供从数据采集、标注、清洗到模型训练、部署的一站式AI开发能力。对于各行各业有定制AI需求的企业用户来说,无论您是否具备AI基础,EasyDL设计简约,极易理解,最快5分钟即可上手学会,15分钟完成模型训练。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部