这节课主要讲述了RBF这类的神经网络+Kmeans聚类算法，以及二者的结合使用。
首先回归的了Gaussian SVM这个模型：
其中的Gaussian kernel又叫做Radial Basis Function kernel
1）radial：表示输入点与center点的距离
2）basis function：表示‘combined’
从这个角度来看，Gaussian Kernel SVM可以看成许多小的radial hypotheses的线性组合（前面的系数就是SV的alphan和yn）
这里要介绍的RBF Network也是多个radial hypotheses的线性组合。
RBF Network的结构如下图：
注意与Neural Network不同的是：RBF Network没有权重的感念（即Wij）就是输入向量直接feed进各个RBF中，出来的结果再voting。
RBF Network的hypotheses如下：
这里要学习的参数主要包括两类：
1）每一个RBF的中心点mium
2）每个RBF voting的权重betam
这里其实还有一个主观参数：即RBF的个数（说主观是因为不用学习，是事先设定的）
林还介绍了有关RBF Network的物理意义：
RBF做了这么一件事情：
1）假设模型中已有很多代表性center点，即每个radial中的miu：需要计算每个输入的x与这些center的距离（或相似性，为啥叫相似性呢？因为两个向量越相近，Radial出来的值就越大；否则由于exp的作用，Radial出来的值会迅速减小）
2）算出来输入的x与每个center的相似性之后，再根据每个center的重要性，对其进行voting
因此，RBF Network也称为：distance similarity-to-center as feature transform
即，做的特征转换是输入x对于每个radial中心的距离。
再延伸一些，回想之前介绍的Neural Network，其实也是衡量了某种similarity（可以看做是输入x与某个nueron输入权重w的相似性，因为两个固定长度的向量，如果他们的内积越大则他们约相近，对应的就是tanh的输出就越大）。这个view很有趣，是一种理解神经网络的不同观点。
下面林开始介绍RBF Network的参数学习方法。
从full RBF Network开始。
为什么叫full RBF Network呢？前面说了，每个Radial都对应一个center，full RBF Network就是把所有的已知点都做成一个radial。如下：
如果每个已知点的权重都一样，即整个模型是uniform的，则参数也不需要学习了；每个center就是所有的输入点x。
uniform是一种方法，或者不用uniform，考虑radial函数的性质（如果离得不近的点radial的输出会迅速减小），那么只需要选择最近的k个点去给新的输入x分类即可。这种方法叫k nearest neighbor，应用也比较广泛。
uniform的方法还是有些太low了，因为每个点的作用都当成一样的了。如何学习出每个点的不同voting权重呢？这里采用regression的方法。
1）先对输入特征做一层transform：这个方法就是计算某个输入点xn与所有N个输入点的RBF距离（exp(...)这个东西）
2）将square error作为cost funciton，用传统的linear regression的方法，求出每个betan（注意这里的n从1取到N，即radial的个数，也是样本点的个数）
这里还有一个点需要注意：如果每个输入x都是不同的，则Gaussian RBF产生的Z矩阵一定是可逆的（猜可能是有某种条件保证矩阵满秩；举个反例，如果存在两个相同的x，则算出来的Z矩阵必然有两行完全相同的，也就是线性无关的行小于N，则必然不可逆）
在所有xn不同的情况下，Z矩阵可逆，则beta的解析形式更简洁了 beta = inverse(Z)y
利用上述的结论，进一步我们看Ein(gBRF)可以做到0
Ein可以做到0同时也有overfitting的风险，因此，直观的就是加入一个L2 regularizer（改成做beta与y的ridge regression）
林又对比了一下kernel ridge regression和L2 regulaized full RBFNet，这里有一个insights：
二者都对一个N×N的与输入similarity相关的矩阵做了regularization
1）对于kernel ridge regression来说，“similarity”指的是Gaussian Kernal Matrix
2）对于full RBFNet来说，“similarity”指的是每个输入与所有输入点的Radial距离
这种full RBFNet的方法的缺点就是需要考虑所有的输入，这给计算效率上带来了比较大的问题。
由此，能否考虑选一些有特性的点作为center，或者学习出来一些center呢？这就引出了K-means算法。
K-means算法要做的事情是：给定类别的个数，再对所有输入点进行clustering。
学习的目标是：所有点到其所在类别的中心的square distance的和最小。
这个cost function不太好优化，需要采用joint combinatorial-numerical optimization的方法，分two steps进行alternatingly optimize。
大概过程如下：
1）固定每个类别的center，“optimally partitioned”给每个点一个类别
2）固定每个点的类别，“optimally computed”重新优化每个类别的中心
交替进行1）2）直到cost function变化幅度小于某个阈值。
总结起来K-means的算法流程如下：
这里有个关键问题，就是算法到底能不能converge？
答案是肯定可以converage的。
通俗点儿解释：
1）上述two steps每进行完一轮，cost function(T+1)≤cost function(T)，即cost function是每次都往更小的值去的。
a. 固定每个类的center，显然只有让每个输入x选择与其最近的center作为其类别，最终得到的cost function才能是固定center条件下最小的
b. 固定每个输入x的类别，由梯度等于0的条件来看，只有令每个类的中心等于该类所有点均值才能保证cost function在固定每个点类别的条件下是最小的
2）另外，由于cost function是square error，因此cost function的下限是0
综合1）2），由于每次都往好的方向去走，且最终的cost function有下限，所以最后肯定能收敛。
如果想解释的学术一些，我看过下面的blog：
http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html
http://www.cnblogs.com/moondark/archive/2012/03/08/2385770.html
这种每次换一个方向优化的算法，EM算法中也用到了，又叫坐标上升算法：(http://blog.csdn.net/zouxy09/article/details/8537620)
个人觉得，要想更好的理解K-means算法，把EM算法的证明过程搞通（motivation是什么？Jensen不等式如何巧妙运用的？）是必须的。看过下面几篇日志不错：
其实，K-means算法中的隐含变量就是每个x所属的类别，上面提到过的日志中有一段对K-means和EM的阐述比较清晰，分享如下：
有点儿扯远了，再回到林这个课程中。
把RBFNet和K-means二者结合如下：
上面的过程没什么可说的，自己的paper中也用过类似的内容。
最后，林提到了几个action中的点：
1）K-means算法对初始值是敏感的
2）RBF中radial个数越大学习能力越强，同时也容易过拟合