机器学习中使用的神经网络(七)

A geometrical view of perceptron 感知器的几何视图

Weight-space 权值空间

在这个空间中,每一个感知器中的权值都表示一维,而空间中的一点则代表了所有权值的特定集合,假设消除阈值,则每个训练样本都可以看做通过起点的超平面。So, points in the space correspond to weight vectors and training cases correspond to planes. 也就是说,空间中的点对应权值向量,超平面则对应训练样本。所以,权值必须在超平面的某一侧才能得到那个训练样本的正确的结果(分类)。

以下面的图为例来说明:

只考虑一个训练样本,这个训练样本定义了一个平面,在这张2d图中就是黑色的那条线,这个平面通过原点,并与输入向量垂直(蓝色矢量箭头)。权值向量需要在超平面的正确一侧才能获得正确的结果。他需要在与输入向量相同的一侧。绿色的权值向量与输入向量的角度不超过90度,所以他们的点集是正的,所以可以获得正确的结果。相反,如果我们有一个权值比如红色的,在错误的一侧,与输入的角度超过90度,

权值与输入的点集是负的,小于0,所以感知器将会说不,或者0, 这种情况下的到的是错误的答案。

另外一个例子,正确结果是0.

在这个例子中,任何与输入小于90度的权值向量获得的结果都大于0,所以不是想要的结果。

现在把这两个测试样本放在一张图中

可以看到有一个圆锥区域,在这个圆锥区域中,任何权值向量都可以获得这两个测试样本的正确的结果。如果存在对于所有样本都能得到正确结果的权值向量,这些权值向量一定在超椎区域里,其顶点在原点。所以,学习算法需要做的是考虑这些训练样本每次一个,并且移动向量使其最后到达这个锥形区。任何两个向量求平均,结果都在两个向量的锥形区内。这就是一个凸问题(convex).在机器学习中,如果你得到了一个凸学习问题,这就非常好解决了make life easy。

原文地址:https://www.cnblogs.com/jinee/p/4475482.html