DW吃瓜课程——机器学习理论知识笔记（四）

本篇是针对经典教材《机器学习》及DataWhale小组出版的配套工具书《机器学习公式详解》的学习笔记，主要以查缺补漏为主，因此对于一些自己已经熟悉的概念和内容不再进行整理。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。

第五章神经网络

1、假设单个M-P神经元中的第i个输入为(x_i)，对应第i个连接权重为(omega_i)，神经元阈值为( heta)，则神经元的输出(y=f(sum_{i=1}^{n}omega_ix_i- heta))。其中f代表激活函数，常用的激活函数包括sigmoid函数、tanh函数及ReLU函数等。

[sigmoid(x)=frac{1}{1+e^{-x}} ]

[tanh(x)=frac{e^x-e^{-x}}{e^x+e^{-x}} ]

[ReLU(x)=max(0,x) ]

2、单层感知机在预测样例((x_1,x_2...x_i|y))时，输出神经元可以根据输出结果(hat{y})与真实值(y)之间的误差对自身的权重进行调整（其中阈值( heta)也可以看做一个输入恒为-1的权重，因此可以等同处理），如下所示：

[omega_i leftarrow omega_i+Delta omega_i ]

[Delta omega_i = eta (y-hat{y})x_i ]

其中(eta in (0,1))称为学习率，用于确定每次权重根据误差调整的程度。

3、而对于包含隐藏层的多层神经网络，我们常利用误差反向传播（error BackPropagation，简称BP）算法对网络进行训练和优化。

（未完待续）

参考资料：