详细看博客https://www.jianshu.com/p/fa8d5ff9321a
1、感知器perceptron
感知器本质上是用来决策的。 一个感知机其实是对神经元最基本概念的模拟 ,都未必有多少网络概念,他就是一个自动做决策的机器。
感知器纯粹从数学的角度的上看,其实就可以理解为一个黑盒函数,接受若干个输入,产生一个输出的结果,这个结果就代表了感知器所作出的决策!
感知器本质上就是一个通过加权计算函数进行决策的工具
![](http://upload-images.jianshu.io/upload_images/1234352-3f26077775b827db.png?imageMogr2/auto-orient/strip|imageView2/2/w/557/format/webp)
根据上面这个公式,我们可以进一步简化,将阈值移到不等式的一边,并且将其称为偏移,那么所有的问题就统一成了一个‘阈值’为0的问题!
![](http://upload-images.jianshu.io/upload_images/1234352-da07e19a87fd741c.png?imageMogr2/auto-orient/strip|imageView2/2/w/688/format/webp)
偏移的意义其实就是阈值,你可以将偏移想象成使感知器如何更容易输出 1,或者用更加生物学术语,偏移是指衡量感知器触发的难易程度。对于一个大的偏移,感知器更容易输出 1。如果偏移负值很大,那么感知器将很难输出 1。
2、激活函数
激活函数是用来加入非线性因素的,解决线性模型所不能解决的问题。
3、神经网络
神经网络的基本单位是神经元,每个神经元分别接受输入和输出,但与感知器不同的是,除了进行加权计算,还需要利用激活函数输出!
假如我们有如下网络:
![](https://upload-images.jianshu.io/upload_images/1234352-7bad970c59810451.png?imageMogr2/auto-orient/strip|imageView2/2/w/396/format/webp)
神经网络的基本思想就是建立在感知器和激活函数上的。对于多个输入,在神经网络经过多个神经元计算之后,得到多个或者单个输出。检查输出结果是否与期望的一致,如果不一致,就对神经网络中神经元的权重进行调整,我们已经知道,神经元权重的细微调整会引起输出结果的细微变化,这样多个神经元组合起来,逐渐调整,直到符合预期的输出结果,我们就可以认为神经网络训练成功了!这里所说的训练调整的方法,利用到了梯度下降法,对神经网络进行反向传播