1.神经网络作用剖析
烧脑！CMU、北大等合著论文真的找到了神经网络的全局最优解
只要网络够大，网络就能能够训练到损失为零，网络训练有两个现象：1.过参数化；2.网络越大难训练；
神经网络应用于难以建模解析、映射关系确实存在的部分；
徐立谈人工智能三个阶段，目前仅属于数据记忆的阶段，对于深度预测可说明该问题。
神经网络CNN等提取的特征，具有部分相等性，但不具有不变性。
2.网络结构与激活函数
【串讲总结】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM
完胜ReLU！斯坦福的神经网络采用这种激活函数，竟高保真还原各种图像视频
采用了sin为激活函数
3.网络训练及技巧
主要工作是在resnet基础上加了类似于学习率的系数，来保证梯度不消失或爆炸
有点扯了，没有数据驱动，怎么学习？
cosine 学习率，从经验上来看看比较有用
你有哪些deep learning（rnn、cnn）调参的经验？
4. 数据处理与训练方法
标注样本少怎么办？「文本增强+半监督学习」总结（从PseudoLabel到UDA/FixMatch）
引入随机森林进行异常检测
5.资料推荐
《Reinforcement Learning- An Introduction》第二版中文翻译 以有中文版书籍，可购买。
重磅发布！吴恩达 AI 完整课程资源超级大汇总！
6.典型应用
GCNv2-SLAM：用CNN提取特征点取代ORB
Voxel Map for Visual SLAM 这个论文能够间避障地图，平衡了地图密度和算法效率。