最大熵模型
最大熵模型按模型分类，算是机器学习中的概率模型，其原理来自最大熵原理。
最大熵原理认为：学习概率模型时，在所有可能的模型概率中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
其实对于上面这段话，如果对于数学学的很好的人来说可能会想到拉格朗日函数。因为有需要最大化的模型，这不就是一个最优化函数求解问题，同时约束条件也相当于拉格朗日函数中的约束函数，这恰好可以转变成拉格朗日函数求极值的问题。
关于拉格朗日函数，在以后的博客中我准备专门写一篇介绍它。
熵在我之前的博客中也专门写了一篇博客介绍，如有不了解的可以看一下，博客中还举了一些例子
这里我们求的熵是条件熵H(y|x)，最大化函数也就是条件熵H(y|x),而约束条件则是对于x和y需要满足何种条件。
当我们确定了拉个朗日函数，就可以利用它的对偶性去求解问题的最优化时模型的参数w.