机器学习--深度学习

一、说在前面

今天主要了解了一下深度学习的背景和相关浅层的知识。深度学习的应用领域和相关的问题，老师为我们进行了介绍，算是一个开始深度学习的概括总览了。

二、笔记

深度学习
1、深度学习的发展
    图像识别
    语音识别
    玩游戏

深度学习获得发展的原因

2、深度学习的核心思想
    感知机
    多层感知机
        多个神经元以全连接层次相连，这种网络称为前馈神经网络
    MPL困境
        目标函数通常为非凸函数，极容易陷入局部最优值，网络层数增多后，梯度消失或梯度爆炸问题
    机器学习VS深度学习
        特征的重要性
            机器学习：需要人工选区特征
            深度学习：自动学习有用特征
    非线性函数逼近
　　

3、典型的网络结构
    卷积神经网络(VGG/GoogleNet/AlexNet/ResNet)
        适合处理网格型数据
            在计算机视觉领域获得巨大成功：物体识别，图片分类，2维网格
        全连接网络并不适用于图像
            像素大：参数爆炸
            图像大小：1000*1000，第一层复杂度O(1,000,000)
        CNN：卷积
            稀疏连接，参数共享，等变表示
        CNN：池化
            对于局部转换不敏感，在局部节点进行操作，降采样
        CNN完整结构
            卷积层堆叠+全连接层

        LeNet5

        AlexNet
            数据增强
                通过水平翻转、随机裁剪、平移变换和颜色光照变换得到更多训练集
            Dropout
                创新的防止过度拟合方法：按照一定概率将神经元暂时从网络中丢弃
            ReLU激活函数
                不容易发生梯度爆炸问题，求解简单
            Local Response Normalization
                利用临近的数据做归一化
　　　　

        VGG
　　　　

        GoogleLeNet
　　　　

        ResNet
　　　　

    循环神经网络(RNN)
        适合处理序列性的数据
　　

    自编码器(Autoencoder)

    生成对抗网络(GAN)
　　

4、深度学习的行业应用
    人脸识别
    自然语言处理
    目标检测
    智能驾驶
    辅助医疗
5、实践案例：使用卷积神经网络进行人脸识别