Andrew Ng机器学习课程6

说明

　　在前面尾随者台大机器学习基石课程和机器学习技法课程的设置，对机器学习所涉及到的大部分的知识有了一个较为全面的了解，可是对于没有动手敲代码并加以使用的情况，基本上是不可能掌握好的。特别是我的学习进程是袭击式的，因此。会非常快忘掉。心中仅仅剩下一个主要的纲要，所以后面要通过解说更为具体的Andrew Ng教授的机器学习课程进行回想和总结，希望能够抓住它的来龙去脉。

所以总结的内容主要是推导的思路。仅仅要能够把握住思路，就能保持长久的记忆。

主要内容

朴素贝叶斯分类器

1. 垃圾邮件特征提取方法

　　通过垃圾邮件的筛选。介绍了朴素贝叶斯分类器。对于垃圾邮件，建立一个垃圾邮件中常常出现的词的字典。用于将一封邮件通过这个字典转换为特征向量，这个特征向量的长度等于字典中词的个数N=5000，且其每个位置上的值仅取“1”或“0”，表示相应位置上是否出现了垃圾词。

2. 朴素贝叶斯如果与朴素贝叶斯分类器

　　已经得到了特征矢量，我们要构建一个generative model。这里先说明一下先验概率与后验概率的含义：

先验概率是指基于先验知识所得到某一件事情发生或出现的概率。通常採用大数据统计就能够得到先验概率。比方罹患肝癌(y)的概率。通过统计医院的资料。能够计算出先验概率p(y)来。而后验概率则是指当某一件事情已经发生或出现。回推导致这件事情发生的因素的概率。
比方某人已经查出罹患肝癌(y)，而导致肝癌发生的因素有x={酒精、多脂肪、病毒、毒素}，即后验概率就是指p(x|y)。

　　然后再说明一下机器学习中两种不同的model：

discrimination model和generative model，两者的区别在于对概率密度的建模上：以二分类问题为例。样本特征矢量为x，样本标签为y。y∈{−1,+1}，discrimination model是直接对p(y|x)进行建模，相似logistic regression，思路就是从已知的样本集(x,y)中直接学习出给定x，输出y为1的概率是多少。等于说是直接构建以x为输入參数的y的概率模型。而generative model则是先分别对p(x|y=0)和p(x|y=1)进行建模。然后再通过后验概率公式（贝叶斯公式）计算得到：
$p (y = 1 | x) = p ( x | y = 1 ) \times p ( y = 1 ) p ( x )$ $p (y = 0 | x) = p ( x | y = 0 ) \times p ( y = 0 ) p ( x )$ ，这样就考虑了样本的产生模型p(y)，同一时候除去分母是不影响推断的。所以实际上generative model是对联合概率密度进行的建模p(y,x)=p(x|y)×p(y)。而对于discrimination model则没有考虑样本的生成模型。或者说是觉得样本生成模型是均匀分布的。通常对于generative model要求样本无穷大或尽可能大，而discrimination model则不须要。

　　为了对p(x|y)进行建模，引入了一个非常强的如果，即如果给定y的情况下，xi是条件独立的。即每个xi之间是没有约束关系的。

这个如果叫做朴素贝叶斯如果（Naive Bayes assumption）。而这样得到的学习算法就叫做朴素贝叶斯分类器。

3. 垃圾邮件的朴素贝叶斯分类器
　　接着对垃圾邮件进行建模，有：

p (x 1, . . ., x 50000 | y) = p (x 1 | y) p (x 2 | y, x 1) p (x 3 | y, x 1, x 2) . . . p (x 50000 | y, x 1, x 2, . . ., x 49999) = p (x 1 | y) p (x 2 | y) p (x 3 | y) . . . p (x 50000 | y) = \prod i = 1 n p (x i | y)

　　非常显然，建立的模型的參数为

p(xi|y)和

p(y)。

联合概率密度的似然函数为:

L (ϕ y, ϕ j | y = 0, ϕ j | y = 1) = \prod i = 1 m p (x (i), y (i))

　　通过最大化联合似然函数。能够得到模型參数的最大似然预计。从而构建出例如以下模型：

p (y = 1 | x) = p ( x | y = 1 ) \times p ( y = 1 ) p ( x ) = ( \prod n i = 1 p ( x i | y = 1 ) ) \times p ( y = 1 ) p ( x )

p (y = 0 | x) = p ( x | y = 0 ) \times p ( y = 0 ) p ( x ) = ( \prod n i = 1 p ( x i | y = 0 ) ) \times p ( y = 0 ) p ( x )

　　选择具有最高后验概率的class作为判定依据。

Ng教授绘制了一种通常的情况用于说明通过典型的generative model ：GDA（Gaussian Discrimination Analysis model）方法建立的两类后验概率，生成分类边界实际上与logistic regression的边界一样。
这说明了两种模型实际上是有共通之处的。就是上面说过的如果忽略了样本的产生模型p(y)两者基本上是相似的。

拉普拉斯平滑

　　在处理一些还没有出现或发生过的事件A时，如果採用上面那种联合似然函数预计出来的p(A)=0，这是不合理的，由于仅仅是在有限的训练集中没有看到这个事件发生。并不代表它一定不发生，即p(A)=0。这个时候採用laplace smoothing会有更好的预计效果。以预计一个多项随机变量z∈{1,2,...,k}的均值情况为例，多项分布的參数为ϕi=p(z=i)，假定m个独立的观測值{z(1),...,z(m)}。非常简单地得到最大似然预计为：

ϕ i = \sum m i + 1 1 { z ( i ) = j } m

　　如前面所讲，如果使用最大似然预计。非常有可能一些

ϕi=p(z=i)会是0。

为了克服这个问题，使用laplace smoothing代替上面的预计：

ϕ i = \sum m i + 1 1 { z ( i ) = j } + 1 m + k

　　laplace smoothing的效果就是使在观測值中没有出现的事件的概率预计保持一定的小概率出现，而不是直接认定概率为0。

事件模型

　　对于上面构建垃圾邮件分类器，实际上丢掉了一些信息，即没有考虑文本的上下文。

Naive Bayes採用multi-variable Bernoulli event model能够解决这种问题。

觉得邮件是这样产生的：首先依据先验概率p(y)随机生成邮件或垃圾邮件，然后发送邮件的人遍历这个垃圾邮件的字典，依据概率p(xi=1|y)=ϕi|y独立决定是否包括第i个word。所以。这个message的概率为：

p (y) \prod i = 1 n p (x i | y)

　　而multinomial event model是一个不同的模型。将具有n个words的email表示为

(xi)(n)。不同的邮件的words的长度

n能够不同。

xi表示的是这个email的第i个word是字典中的第x_i个word的索引index。所以message的概率为：

p (y) \prod i = 1 n p (x i | y)

　　尽管multi-variable Bernoulli event model与multinomial event model得到的概率模型在公式上表现了同样，可是具体的含义却区别非常大，multinomial event model中的

xi|y表示的是一个多项分布，而ulti-variable Bernoulli event model中的

xi|y表示的是一个bernoulli分布。

神经网络模型

　　Ng教授通过两个视频的样例说明了神经网络模型的力量，一个是手写体的识别。还有一个是模拟小孩说话声音。都表现出了非常好的性能。神经网络是在logistic regression的基础上引入的，採用sigmoid函数作为激活函数。神经网络最大的缺点就是变量太多。导致非常easy陷入局部最优。神经网络的部分，能够參看我的其它博客文章神经网络模型的总结，有非常深入的介绍。

支持向量机的开篇

　　Ng教授对支撑向量机（support vector machine）是从线性可分问题入手的，介绍了如何的分类边界是好的。

对于logistic regression，当θTX远大于0时，就有非常大的confidence觉得y=+1，而当θTX远小于0时。就有非常大的confidence觉得y=−1。从而引入了两个margin，一个是function margin。还有一个是geometry margin。定义了点(xi,yi)到超平面(w,b)的距离作为function margin:　function　margin=y(i)(wTx+b)，我们求取全部点到决策平面的距离中的最小值作为样本到决策平面的距离。剩下要做的就是maximize 这个margin。

样本是固定的。而决策超平面是不定的。是由參数(w,b)决定的。我们所要做的就是调整(w,b)。而如果參数同一时候放大时，这个margin也会放大，这样最大化就没意义了。所以，定义了geometric margins，约束||w||=1。从而得到了例如以下的公式化的优化问题：

m a x (w, b) {m i n y (i) (w T x + b)}, s . t . | | w | | = 1

2015-8-23
艺少