有趣的机器学习视频-第三章.如何评价/检验神经网络

3.1 如何检验

训练数据集合，测试数据集合
评价标准：
误差
精确度曲线：R2 score、F1 Score（不均衡数据的准确度）
要考虑过拟合

实际中的数据具有不同的单位，取值范围，收集方法等等都不同
不同参数的变化值对于结果的影响大小不同
将取值跨度大的数据缩小，取值跨度小的数据扩大

两种方法：

效果：加速，同时使得也不会变的扭曲

有区分度
避免重复性信息

解决线性方程描述能力有限的问题，使得输出信息有非线性特征

激励函数要可微分：这样才能在误差反向传播的时候才能将误差传播回去

默认首选的激励函数：
CNN：relu
RNN：relu或者tanh

解决方法：
L1，L2正则式：防止变化太大，使得学习的曲线不会那么扭曲

dropout：专门用于神经网络
随机drop部分神经元，使得整个网络不会过于依赖某些结构的权值

SGD：每次使用批量数据，加速NN的过程，不会丢失太多整体信息

，走的弯弯曲曲

结合moment和ada

最常用的加速方法，效果好

不均衡的数据处理起来，只要每次都预测多数派那么准确率都不会太差，但是没有什么意义
方法：

把数据分成很多小部分，

数据在输入激活函数之前的值是十分重要的

反标准化工序可以让网络自己学习β等参数，进行一定的纠正

减缓过拟合问题

L1 的白点不太稳定，但是L2比较稳定
通常还会通过一定的权值来限制误差影响
而且还会通过交叉验证来进行一定的修正