上云无忧 > 文档中心 > 百度智能云全功能AI开发平台BML自定义作业建模 - 训练作业代码示例(Sklearn 0.23.2)
飞桨BML 全功能AI开发平台
百度智能云全功能AI开发平台BML自定义作业建模 - 训练作业代码示例(Sklearn 0.23.2)

文档简介:
sklearn框架下,自定义作业支持发布保存模型为pickle和joblib格式,并且在发布至模型仓库时需要选择相应的模型文件。使用下面代码进行模型训练时,训练程序可以自行加载数据,训练数据选择空文件夹即可。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

Sklearn

sklearn框架下,自定义作业支持发布保存模型为pickle和joblib格式,并且在发布至模型仓库时需要选择相应的模型文件。使用下面代码进行模型训练时,训练程序可以自行加载数据,训练数据选择空文件夹即可。

pickle格式模型示例代码:

# -*- coding:utf-8 -*- """ sklearn train demo """ import numpy as np from 
sklearn import datasets from sklearn.model_selection import train_test_split from
 sklearn.linear_model import LogisticRegression def load_data(): """ load data "
"" # 共150条数据,训练120条,测试30条,进行2,8分进行模型训练 # 每条数据类型为 
x{nbarray} [6.4, 3.1, 5.5, 1.8] inputdata = datasets.load_iris() # 切分,
测试训练2,8分 x_train, x_test, y_train, y_test = \
        train_test_split(inputdata.data, inputdata.target, test_size = 0.2,
 random_state=0) return x_train, x_test, y_train, y_test def save_model(model)
: """ save model with pickle format """ import pickle with open('output/clf.pickle','wb')
 as f: pickle.dump(model, f) def save_model_joblib(model): """ save model with joblib format 
""" try: import joblib except: from sklearn.externals import joblib
    joblib.dump(model, 'output/clf.pkl') def main(): """ main """ # 训练集x
 ,测试集x,训练集label,测试集label x_train, x_test, y_train, y_test = load_data() 
# l2为正则项 model = LogisticRegression(penalty='l2') model.fit(x_train, y_train) 
save_model(model) print("w: %s" % model.coef_) print("b: %s" % model.intercept_) 
# 准确率 print("precision: %s" % model.score(x_test, y_test)) print("MSE: %s" 
% np.mean((model.predict(x_test) - y_test) ** 2)) if __name__ == '__main__': main()


joblib格式示例代码:

# -*- coding:utf-8 -*- import numpy as np from sklearn import datasets from sklearn.model_
selection import train_test_split from sklearn.linear_model import LogisticRegression def load_data()
: # 共150条数据,训练120条,测试30条,进行2,8分进行模型训练 # 每条数据类型为 x{nbarray}
 [6.4, 3.1, 5.5, 1.8] inputdata = datasets.load_iris() # 切分,测试训练2,8分 x_train, x_test, y_train, y_test = \
        train_test_split(inputdata.data, inputdata.target, test_size = 0.2, random_state=0) return
 x_train, x_test, y_train, y_test def save_model(model): import pickle with open('output/clf.pickle',
'wb') as f: pickle.dump(model, f) def save_model_joblib(model): from sklearn.externals import joblib
    joblib.dump(model, 'output/clf.pkl') def main(): # 训练集x ,测试集x,训练集label,测试集label
 x_train, x_test, y_train, y_test = load_data() # l2为正则项 model = LogisticRegression(penalty='l2') 
model.fit(x_train, y_train) save_model_joblib(model) print("w: %s" % model.coef_) print("b: %s" % model.intercept_)
 # 准确率 print("precision: %s" % model.score(x_test, y_test)) print("MSE: %s" % np.mean
((model.predict(x_test) - y_test) ** 2)) if __name__ == '__main__': main()

相似文档
  • XGBoost框架下,自定义作业支持发布保存模型为pickle和joblib格式,并且在发布至模型仓库时需要选择相应的模型文件。使用下面代码进行模型训练时,训练程序可以自行加载数据,训练数据选择空文件夹即可。
  • 此处提供基于Paddle框架的MNIST图像分类示例代码,数据集请点击这里下载。 单机训练时(计算节点等于1),示例代码如下: import os import numpy import paddle # 导入paddle模块 import paddle.fluid as fluid import gzip import struct work_path = os.getcwd() cluster_train_dir = "%s/train_data" % work_path def load_data(file_dir, is_train=True):
  • 超参搜索是机器学习/深度学习技术中的关键一环,无论是机器学习的树模型参数、特征选择、还是深度学习的学习率/权重衰减等等,甚至于网络结构的选择,都会涉及到搜索最优参数的需求。传统的人工超参搜索需要有经验的工程师耗费大量的时间和精力进行手动调优,而自动超参搜索能够在节省人力的情况下,自动地进行超参调优,更有效率地寻找最优解。
  • 1.前提条件 2.新建作业 3.使用自动搜索作业训练模型 3.1 基本信息 3.2 算法配置 3.3 数据集配置 3.4 自动搜索配置 3.5 资源配置 3.6 查看搜索结果及可视化 4.发布模型 前提条件: 自定义作业需要依赖于BOS对象存储读取输入文件,创建自定义作业之前需要保证您已经开通了BOS对象存储的服务。 授权自定义作业读写您的BOS对象存储,以顺利进行自定义作业的配置。
  • 1.代码入参说明 2.必要接口说明 代码入参说明: 自动搜索作业的实现过程:通过搜索算法获取多个超参数组合,每个组合都会通过训练得到一个评估结果,以此最终判断超参数组合的优劣,而用户编写的代码即是用于实现单次训练。 用户需要通过argparse模块接受在平台中填写的信息以及搜索算法反馈的超参数组合。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部