什么叫做神经网络（科普向）
本文写于 2020 年 12 月 11 日
之前讲了什么叫做机器学习，不理解的可以移步《什么叫做机器学习》。
神经网络的最重要用途就是 classification。
对于我们人来说，前面跑过的四脚兽是猫还是狗、是狼还是虎，我们都可以判断出来（一般）。我们虽然没有探究清楚人脑究竟是怎么思考的，可是简化出了「神经网络」，通过机器学习实现人工神经网络。
关于 classification 有几个典型的例子：
- 邮箱判断邮件是否是垃圾邮件；
- 判断四脚兽的照片到底是猫还是狗、狼还是虎；
- 根据病症判断疾病类型
- ……
这都是 classification。我们写一个程序能够进行分类，那他就是「分类器」。在神经网络里，一个神经元就是一个「分类器」。
我们会将事物的 「特征」 作为输入，经由「分类器」得到输出。比如 0 表示是猫、1 表示是狗；0 表示是垃圾邮件、1 表示不是。
我们高中都学过线性回归，线性回归是对数据进行拟合，然后画出一条直线。
如果我们利用线性回归进行分类，可以说：在直线一边的是 A，在直线的另一边的是 B。
平面上直线的方程是 ax + by + c=0，所以根据 ax1 + by1 + c > 0 还是 ax1 + by1 + c < 0 就可以判断 (x1, y1) 在直线的哪一边。
神经元的实质就是把特征空间一切两半，一边是一个类型。
实际工作中我们并不知道怎么画这一条直线，我们可以利用 Hebb 算法：
我们把直线放上去，然后把样本拿过来，如果说分错了，就把直线移动一点，让他更靠近样本……最终让他跑到直线正确的一侧。
因此训练神经元的过程就是不断的在移动直线，最终到一个恰当的位置。
但有一个问题——如果我的范围是一个圆怎么办？或者说，我需要砍两刀怎么办？
神经元只能切一刀呀。
一刀是非常有局限性的，所以人们发明了 「多层神经网络」，底层神经元的输出是高层神经元的输入，这样我们就可以砍很多很多刀了！
- 我们每砍一刀，就是使用了一个神经元；
- 把砍下的不同的块做交、并运算就是把这些神经元的输出当作输入；
- 再连接后面的神经元。
根据极限的思想，只要我们砍的刀数足够多，那么什么样的边界神经网络都能砍出来。
神经网络的训练依靠的是 「反向传播算法」：
- 输出层发现输出的结果和训练数据不符合；
- 调整自己的参数（即移动直线）；
- 调整上一层的参数；
- 层层向上；
- 如果还是不对，就会重新从最后一层开始。
（完）