01月29, 2020

深度学习总结 (五) 正则项系数、Batch_size设置

1. 正则项系数(λ)的设置

建议一开始将正则项系数λ设置为0,先确定一个比较好的learning rate。然后固定该learning rate,给λ一个值(比如1.0),然后根据validation accuracy,将λ增大或者减小10倍(增减10倍是粗调节,当你确定了λ的合适的数量级后,比如λ = 0.01,再进一步地细调节,比如调节为0.02,0.03,0.009之类。)

2. Batch size三种情况

Batch_Size(批尺寸)是机器学习中一个重要参数。

  • 如果数据集比较小,可以试验全数据集 ( Full Batch Learning )或者较大batch size(占样本总量的25%~50%)的形式,这样做至少有 2 个好处:

    • 其一,由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。
    • 其二,由于不同权重的梯度值差别巨大,因此选取一个全局的学习率很困难。
  • Batch_Size = 1。这就是在线学习(Online Learning)。使用在线学习,每次修正方向以各自样本的梯度方向修正,横冲直撞各自为政,难以达到收敛。

  • 如果网络中采用minibatch SGD算法来优化,所以是一个batch一个batch地将数据输入CNN模型中,然后计算这个batch的所有样本的平均损失,即代价函数是所有样本的平均。而batch_size就是一个batch的所包含的样本数,显然batch_size将影响到模型的优化程度和速度。mini batch只是为充分利用GPU memory而做出的妥协

3. Mini-batch size的设置

大的batch,可以充分利用矩阵、线性代数库来进行计算的加速,batch越小,则加速效果可能越不明显。当然batch太大了,权重的更新率降低,导致优化过程太漫长。所以mini-batch size选多少,不是一成不变的,根据你的数据集规模、你的设备计算能力去选。

本文链接:http://57km.cc/post/regulization and batch size.html

-- EOF --

Comments