什么是超参数
在神经网络的村联过程中不变的参数
有哪些是超参数
- 网络结构参数：几层， 每层宽度，每层的激活函数等
- 训练参数: batch_size， 学习率， 学习率衰减算法等
为什么要超参数搜索
搜索策略
-
网格搜索
定义N维方格， 每个方格对应一组超参数，一组一组的尝试，直到找到最好的组合方式。
缺点就是计算量大，只能取固定的值，但最优的参数组合可能在方格中间， 需要不断细化取值区间，才能找到最优解，这也将指数级增大计算量 -
随机搜索
参数的生成方式是随机的，课搜索的空间范围更大
缺点就是目的性不强，可能搜不到最优解 -
遗产算法搜索
原理是对自然界的模拟
过程：初始化一组参数集合-> 应用到模型上进行训练-> 训练结果的准确率作为生存概率
将生存概率高的模型的参数做组合交叉（两个模型各出一部分参数），然后产生下一代参数集合，继续训练 -
启发式搜索
研究热点-AutoML
基本特点就是，使用循环神经网络来生成参数。 然后使用强化学习来进行反馈， 使用模型来训练生成参数