参数的范数正则/惩罚(parameter norm penalties) 1. L2 范数 J~(w;X,y)=J(w;X,y)+α2wTw J 表示的是原始的目标函数,J~ 则是二范数约束后的新的目标函数。 则根据梯度下降算法有: ∇wJ~=∇wJ+αw w←w−ϵ∇wJ~=w−ϵ(∇J+αw) w←(1−αϵ)w−ϵ∇J