第6章 逻辑斯谛回归与最大熵模型
逻辑斯谛回归是统计学习中的经典分类方法。
改进的迭代尺度算法和拟牛顿法。
6.1 逻辑斯谛回归模型
分布函数和密度函数：
二项逻辑斯谛回归的参数估计法可以推广到多项逻辑斯谛回归。
6.2 最大熵模型
最大熵模型的学习归结为对偶函数的极大化。
6.2.4 极大似然估计
其中，
6.3 模型学习的最优化算法
6.3.1 改进的迭代尺度法
算法6.2 最大熵模型学习的BFGS算法
最大熵原理应用到分类模型的学习中，有以下约束最优化问题：
第6章 逻辑斯谛回归与最大熵模型
雪儿言