SVM上：这个算法应该是机器学习这门课里最重要的部分了。
首先是SVM的思想：找到超平面，将两类中距离最近的点分的越开越好（直至二者相等）。
然后是函数间隔和几何间隔的定义，二者之间的区别。
接着是超平面模型的建立，看看它是如何将问题转化为凸优化问题的。
SVM第一个难点：拉格朗日对偶。由KKT条件可知，起作用的约束都在边界上，这个会用来解释支持向量。
由KKT条件知，在SVM模型中，只有函数间隔为1的点才是支持向量。
通过对偶解出w,b。对于新出现的样本，只需要和支持向量作内积就可以将其分类。
SVM下：有时候低维不能将样分很好的分类，可以用高维解决，为此引入了核函数，将低维映射到高维。
用线性分类方法求解非线性问题分两步，首先使用一个变换将原空间的数据映射到新的空间，然后在新空间里用线线分类学习方法
从训练数据中学习分类模型。
如果一个核函数是半正定的，则它是有效的。
为了解决离群点问题，引入了罚项。新的模型不仅要使间隔尽量小，还要使误分类点的个数尽量少。
EM: 第一个难点就是Jensen不等式，不等式取等号的条件。EM算法实际上就两个过程：确定下界，优化下界。E步是估计隐含类别Y的期望值，M步调整其他参数
使得在给定类别Y的情况下，极大似然估计P(x,y)能够达到极大值。然后在其他参数确定的条件下，重新估计Y，周而复始，直至收敛。
K-means：用于事先不知道类别。思想很简单：在样本中选取K个质心，分别求样本到各个质心的距离从而确定样本的类别。在新的类别中重新求质心，再对每个样本
重新分类，一直迭代直至收敛。
EM 与 K-means: k-means中在确定k个质心的过程就相当于E步，质心确定后，重新计算距离就相当于M步，通过调整使距离最小，也就是p(x,y)最大