上云无忧 > 文档中心 > 百度智能云文心大模型API ERNIE-ViLG模型精调 - 模型训练
文心大模型API
百度智能云文心大模型API ERNIE-ViLG模型精调 - 模型训练

文档简介:
用户设置: 在代码最开始处设置您在官网获取到的ak和sk。 import wenxin_api wenxin_api.ak = "your ak" wenxin_api.sk = "your sk" 创建精调任务。 数据上传后,启动训练任务。 【百度智能云】文心一言
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

用户设置

  • 在代码最开始处设置您在官网获取到的ak和sk
import wenxin_api
wenxin_api.ak = "your ak" wenxin_api.sk = "your sk"

创建精调任务

  • 数据上传后,启动训练任务

from wenxin_api import Train, Dataset from wenxin_api.const import TYPE_TEXT_TO_IMAGE
data_id = "your data id" #请查看数据准备页面,上传数据集合并获得id dataset = Dataset.
retrieve(data_id=data_id, api_type=TYPE_TEXT_TO_IMAGE) Train.create(train_datasets=[dataset],
 step=200, learning_rate=1e-5, batch_size=4, api_type=TYPE_TEXT_TO_IMAGE)

开始精调任务后,可能需要一些时间才能完成。您的任务在我们系统中按提交时间排队运行,精调模型可能需要几分钟或几十分钟,具体取决于您d的参数配置,举例来说,step设置为500,batch_size设为8的情况下,训练时间大约需要十几分钟。

查询训练好的模型

  • 任务完成后,您可以查询训练好的模型名称。

查看模型全集 from wenxin_api import Model from wenxin_api.const import TYPE_TEXT_TO_IMAGE # 
查看所有模型 models = Model.list(api_type=TYPE_TEXT_TO_IMAGE) print(models) # 根据model_id查看模型 
model_id = "your model id" model = Model.retrieve(model_id=model_id, api_type=TYPE_TEXT_TO_IMAGE)
 print(model) # 根据训练任务的task_id查看模型 task_id = "your task id" model = Model.retrieve
(task_id=model_id, api_type=TYPE_TEXT_TO_IMAGE) print(model)

注意:上述填入的model_id和task_id都是int类型的。

  • 查询结果返回示例(单个模型)

{ "taskList" : null , "model_state" : 1 , "task_id" : 44 , "model_id" : 132 , "url" :
 "http://bj.bcebos.com/api-platform-wenxin/job-0bb62fccdada6394_prompt_embeddings.npy" , "
model_name" : "job-0bb62fccdada6394_prompt_embeddings.npy" , "requestId" : "
67425a1b50d47e22a06379ed38065648" , "log_url" : "http://bj.bcebos.com/api-platform-wenxin/
job-0bb62fccdada6394_log.tar" , "is_public" : 0 , "is_prompt" : 1 , "md5" :
 "877b1c6ce35dfaf419796649973ab207" , "timestamp" : "2022-08-17 19:37:28.0" }

获取模型和删除模型

  • 针对训练好的模型,您还可以获取和删除模型:

from wenxin_api import Model from wenxin_api.const import TYPE_TEXT_TO_IMAGE # 查看所有模型 
models = Model.list(api_type=TYPE_TEXT_TO_IMAGE) # 使用训练任务的task_id获取模型 task_id = "your 
task id" model = Model.retrieve(task_id=task_id, api_type=TYPE_TEXT_TO_IMAGE) # 使用model_id获取模型 
model_id = "your model id" model = Model.retrieve(model_id=model_id, api_type=TYPE_TEXT_TO_IMAGE) 
# 删除模型 model_id="your model id" Model.delete(model_id=model_id, api_type=TYPE_TEXT_TO_IMAGE)

查看、删除、停止任务

  • 除了创建微调作业外,您还可以查看所有训练任务、查看指定训练任务、停止训练任务。

from wenxin_api import Train from wenxin_api.const import TYPE_TEXT_TO_IMAGE # 查看所有训练任务
 tasks = Train.list(api_type=TYPE_TEXT_TO_IMAGE) print(tasks) train_id="your train task id" 
# 查看指定训练任务 task = Train.retrieve(task_id=train_id, api_type=TYPE_TEXT_TO_IMAGE) 
print(task) # 停止训练任务 task.stop()

  • 查询结果返回示例

{ "job_id":"job-0bb62f210535f7c6", # 训练平台上任务的id "response":"{}", 
# 训练成功后该字段下有模型的id "task_state":203, # 训练状态码,以参考状态码表 "task_id":16, # 训练任务id "
task_type":1, # 任务种类,1代表训练任务 "type":"task", }

其中常见的状态码可以参考:常见状态码

相似文档
  • 用户设置: 在代码最开始处设置您在官网获取到的ak和sk。 import wenxin_api wenxin_api.ak = "your ak" wenxin_api.sk = "your sk" 使用精调模型。 Python SDK。 模型训练成功后,您可以调用已训练好的模型。 【百度智能云】文心一言
  • 通过上传精调的数据,生成与精调数据内容相近的图像。 【百度智能云】文心一言
  • 1 ERNIE_100B_MODEL 千亿模型。 2 ERNIE_10B_MODEL 百亿模型。 3 ERNIE_1P5B_MODEL 十五亿模型。 【百度智能云】文心一言
  • 尊敬的用户,欢迎您使用文心大模型API服务平台,以下简称《本平台》。 在使用前请您仔细阅读以下条款及 《百度免责声明》、 《百度知识产权声明》、 《百度隐私保护声明》 等百度平台规则内容。请仔细阅读并理解透彻本服务协议内容,特别是免责条款,我们会将部分内容以字体加粗的形式提醒您注意。 【百度智能云】文心一言
  • 亲爱的用户您好!请确保您在文心大模型API服务平台的使用是符合以下规范的,本免责声明包含《免责声明》和《服务使用规范》两部分内容,如您违反《服务使用规范》的相关规定,您将可能会受到一定的服务使用限制。 【百度智能云】文心一言
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部