上云无忧 > 文档中心 > 百度智能云全功能AI开发平台BML开发视觉模型自动超参搜索配置参考
飞桨BML 全功能AI开发平台
百度智能云全功能AI开发平台BML开发视觉模型自动超参搜索配置参考

文档简介:
在深度学习建模过程中,除了大规模的数据集,超参数调节也显著影响模型效果。即使对于有经验的算法工程师,有时候也很难把握调节超参数的规律,而对于初学者来说,要花更多的时间和精力。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

在深度学习建模过程中,除了大规模的数据集,超参数调节也显著影响模型效果。即使对于有经验的算法工程师,有时候也很难把握调节超参数的规律,而对于初学者来说,要花更多的时间和精力。
自动超参搜索应用超参搜索策略,对模型的超参数进行自动调优,在配置训练任务的页面,完成数据集的配置后,可以选择使用自动超参搜索进行配置。
您可以选择「随机搜索」,「贝叶斯搜索」,「进化算法」作为搜索策略进行超参搜索,所有默认值都是基于试验得出的效果较好的取值。 

随机搜索

作为基线标准,不需要更多额外的设置,就能高效地进行超参数搜索。

贝叶斯搜索

贝叶斯搜索中,您需要设置初始点数量和最大并发量.

「初始点数量」:代表贝叶斯搜索中,初始化时参数点的数量,该算法基于这些参数信息推测最优点 ,填写范围1-20;
「最大并发量」:贝叶斯搜索中,同时进行试验的数量,并发量越大,搜索效率越高,填写范围1-20。

进化算法

进化算法是一种效果较好的算法,应用此算法时也需要进行较多的选项设置

「迭代轮数」:进化算法运行中迭代的轮数,范围5-50;
「扰动间隔」:进化算法每隔几个epoch就会进行随机扰动,利用随机因素防止算法结果收敛于局部最优解;
「扰动比例」:类似于染色体交叉的形式,迭代中一个种群内最好与最坏的个体依据扰动比例进行交叉;
「随机初始化概率」:在扰动中,有一定概率对个体的超参数进行初始化;
「种群个体数量」:一个个体代表一种超参数设置,一个种群中包含多个个体。

超参范围设置

超参范围设置中,可以设置需要搜索的超参数和搜索范围。您可以在「默认配置」,「手动配置」中进行选择。

默认配置

如果您不行进行超参数选择和范围设置,可以选用默认配置,后台会根据所选网络默认配置必要的超参数进行搜索。

手动配置

针对不同的预训练网络,我们提供了丰富的超参数供开发者手动配置,每一个超参数都能选择数据类型和设置搜索范围。 

详细超参数列表请见下面超参数列表

搜索超参数列表

超参数 参数类型 说明
batch_size 离散值、随机整数 每一个批次处理的数据数量,需根据网络不同机型和网络调整最大值,否则可能因显存不足导致失败
learning_rate 离散值、平均采样、对数平均采样 控制深度学习网络的学习速度,学习率越低,损失函数的变化速度就越慢,反之亦然
weight_decay 离散值、平均采样、对数平均采样 对深度学习网络进行权重衰减,防止网络出现过拟合情况
mix_up 布尔值 选择是否使用mix_up策略,mix_up是一种数据增广方式
label_smoothing 布尔值 选择是否使用label_smoothing策略,label_smoothing是一种正则化方法
anchor_scale 离散值,随机整数 anchor大小的缩放尺度,anchor是一组预设的参考框
anchor_ratio 离散值,随机整数 anchor的长宽比,anchor是一组预设的参考框

通用配置项

『最大搜索次数』:是指最多组合出多少组超参并跑试验,当然有可能会因为提前达到目标而停止,节约费用。
『数据采样比例』:使用超参搜索时,会对原始数据集进行采样后再训练,加快搜索速度。当数据集并不大时,不推荐采样哟,可能会影响最终效果,只有大数据量时才有使用采样的必要。
『最高mAP/最高准确率』:是指大家期望模型效果可以达到的mAP(物体检测)或准确率(图像分类)的值,当试验中达到这个值了搜索就会停止,避免后续浪费搜索时间。

相似文档
  • 运行环境说明: 目前 BML 支持选择GPU P4、GPU P40、GPU V100三种运行环境,性能从高到低为V100>P40>P4。具体规格说明如下: 机型 规格说明 GPU V100 TeslaGPU_V100_16G显存单卡_12核CPU_56G内存 GPU P40 TeslaGPU_P40_24G显存单卡_12核CPU_40G内存 GPU P4 TeslaGPU_P4_8G显存单卡_12核CPU_40G内存
  • 图像分类模型评估报告 模型评估报告内容说明 模型训练完成后我们可以在模型列表中看到模型效果及查看模型评估报告的入口。进入模型评估报告页面,我们可以看到整体报告内容中包含以下几个区域内容:
  • EasyDL专业版平台将支持代码级的NLP任务包括文本分类任务、短文本匹配任务、序列标注任务、文本实体抽取任务。同时平台集成了百度大脑文心的ERNIE2.0预训练模型,可以选择ERNIE-Base、ERNIE-Large、ERNIE-Tiny三种类型的预训练模型。
  • 一个项目是指对应的一个场景或者领域的问题,例如智能客服场景、智能教育场景等。在BML中,提供了文本分类单标签、文本分类多标签、短文本相似度、序列标注、文本实体抽取任务的模型训练能力。本章节将通过演示,如何创建一个自然语言处理任务来完成问文本分类的任务。
  • 在新建任务的面板中,可查看相关项目“基本信息”、“配置任务类型”、“添加数据”、“配置任务”等操作,如下图: 配置任务类型时,您可以看到增量训练有一个开关选项。增量训练也成为模型热启动,当您训练完模型但效果不理想想继续添加数据,或您的训练模型超过训练时长被中断是,您可以开启增量训练,使该新任务能在基准任务的基础上继续运行。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部