最近审论文和看报告中遇到LM优化和齐普夫分布，于是查了一下。
LM方法是高斯牛顿迭代方法的改进，下面分别是高斯牛顿、齐普夫方法的公式：
Δ=−(JfTJf)−1JfTf，Δ=−(JfTJf+λI)−1JfTf
即下降太快，使用较小的λ，更接近高斯牛顿
即下降太慢，使用较大的λ，更接近梯度下降
而且齐普夫方法适用于词频分布或长尾分布
最近审论文和看报告中遇到LM优化和齐普夫分布，于是查了一下。
LM方法是高斯牛顿迭代方法的改进，下面分别是高斯牛顿、齐普夫方法的公式：
Δ=−(JfTJf)−1JfTf，Δ=−(JfTJf+λI)−1JfTf
即下降太快，使用较小的λ，更接近高斯牛顿
即下降太慢，使用较大的λ，更接近梯度下降
而且齐普夫方法适用于词频分布或长尾分布