部署攻略！金山云算力平台、容器服务支持DeepSeek R1系列模型
|
金山云算力平台、容器服务已支持DeepSeek R1系列模型，用户可以通过以下两种方案快速部署相关模型服务。 算力平台DeepSeek模型部署 1. 在算力平台控制台进入模型在线服务列表页 2. 点击新建，填写服务基本信息-选择DeepSeek模型型号-配置资源规格-配置网络信息 3. 点击确认，确认后平台进入模型部署环节，等待服务状态变为运行中后即可对模型进行调用使用 4. 模型部署后调用方式 a. 在线服务列表页找到要调用的服务 b. 确认要调用的在线服务-操作列点击调用即可查看调用方式 c. 调用示例： 注：当前部署在线服务需用户预先进行资源池创建并保证资源池内有可用GPU资源，用户可以通过关联KCE（金山云容器服务）集群实现资源池创建。 金山云算力平台面向模型开发者和运维人员提供云原生AI算力支持，提供模型开发、训练、模型服务与管理场景下的全流程能力。当前模型在线服务模块已支持Deepseek R1蒸馏系列模型，全尺寸模型及国产芯片适配后续将陆续发布。 容器服务DeepSeek模型部署 KCE现已支持vLLM和Ollama工具部署DeepSeek，通过控制台Yaml部署或通过Kubeconfig连接集群使用kubectl apply命令，即可完成DeepSeek R1系列模型与WebUI的联合部署，Yaml文件已同步更新至金山云文档「容器服务-最佳实践」专区，可快速搭建AI应用环境。 部署前准备 1. 开通KCE集群，KCE集群开通方式请参考创建集群，并且安装CSI Driver组件 https://docs.ksyun.com/documents/2664 2. 集群中包含GPU Worker节点，需要先购买GPU裸金属服务器后加入KCE集群，参考文章如下： a. 购买裸金属服务器 https://docs.ksyun.com/documents/605 b. 裸金属服务器加入KCE集群 https://docs.ksyun.com/documents/28310?type=3 部署说明 1. 模型镜像已存放至KS3文件存储中，以PVC形式挂载在vLLM或Ollama的Pod内 2. vLLM部署资源 3. Ollama部署资源 4. 部署后模型服务访问 根据Service webui的LB地址访问，http://{ip} |
全部评论
暂无评论
有话要说