Momentum（动量/冲量）的理解及应用

1. 基本概念（Momentum vs SGD）

Momentum 用于加速 SGD（随机梯度下降）在某一方向上的搜索以及抑制震荡的发生。

• GD（gradient descent）

  θt=θt−1−η∇Jθ(θ)⇒θ=θ−η∇J(θ)

  for i in range(num_epochs):
      params_grad = evaluate_gradient(loss_function, data, params)
      params = params - learning_rate * params_grad

• SGD（stochastic gradient descent）

  θt=θt−1−η∇Jθ(θ;x(i),y(i))⇒θ=θ−η∇J(θ;x(i),y(i))

  for i in range(num_epochs):
      np.random.shuffle(data)
      for example in data:
          params_grad = evaluate_gradient(loss_function, example, params)
          params = params - learning_rate * params_grad

• Momentum（冲量/动量）

  vt=γvt−1+η∇θJ(θ)θ=θ−vt

  for i in range(num_epochs):
      params_grad = evaluate_gradient(loss_function, data, params)
      v = gamma*v + learning_rate*params_grad
      params = params - v

  γ 即为此处的动量，要求 γ<1，一般取 γ=0.9 或者更小的值，如本文第二节所示，还可以在迭代过程中设置可变的 γ

2. 可变动量设置

maxepoch = 50;
initialmomentum = .5;
finalmomentum = .9;

for i = 1:maxepoch
    ...
    if i < maxepoch/2
        momentum = initialmomentum
    else
        momentum = finalmomentum
    end
    ... 
end