深度学习_0_相关概念

SVM损失函数

• L1 = max(0,5.1-3.2+1)+max(0,-1.7-3.2+1) l2 = ...... 损失函数:L=(L1+L2+L3)/3

• 当所有的分数几乎相同时:L=分类数-1 (就是max中的那个1.共有类数-1个)

• 为什么使用平均值? 无论分数如何变化loss不会改变

• 最优化w并不是唯一的,若w1对应loss为0,2*w 对应loss也为0

  因此要选择正确的w L=原来的L+λR(w)(正则项) λ为超参数

• 常见的是L2正则化

神经网络

卷积神经网络

卷积

1. 图片:32*32*3
2. 卷积核:3*3*3 前两个 3是卷积核大小,后一个是图片通道数,指定步长后滑动一次生成 一个[x,y,1]
3. 假设有n个卷积核,这样就生成[x,y,n] 缩小图片大小,厚度增加
4. 参数:n个卷积核 n*3*3 +n(偏执)

池化:

1. 对于32*32*3的图片 ----->28*28*64 卷积
2. 28*28*64 -------> 14*14*64 池化
3. 通常也有滤波器 2*2 每次滑动步长为2 意思就是不重叠
4. 池化方法通常是最大池化法:在2*2的4个值中选取最大的作为结果 没有参数,64的深度不变
5. 通常使用最大池化,不是均值池化:因为它表示的是神经元在某一区域的感知, (只可意会,不和言传)
6. 一般不用0填充

激活函数

批量归一化:Btach Normalization

（x-均值）/标准差 是的均值变为0

正则化

dropout

迁移学习

深度学习框架

caffe2----》caffe2:文件形式，不用写代码，

torch-----》pytorch:动态图，定义，计算一起 科研型

theano----》tensorflow：静态图，先定义图，后运行 产品类

keras：作为Tensorflow的高级应用程序接口 面向对象

CNN框架

神经网络架构：AlexNet，VGGNet，GoogleNet，ResNet

其他的架构：NIN,WIDE ResNeT

leNet：数字识别领域

AlexNet：卷积，池化，归一化，在卷积，池化，全连接 与LeNet类似，只不过层数变多

Vgg 16 19

GoogleNet 22 没有全连接层

ResNet 152层 残差网络

1，CNN，卷积神经网络，是以卷积为核心的一大类网络。
2，LeNet、AlexNet、VGG、GoogLeNet，属于CNN。
3 ，RCNN、Fast RCNN、Faster RCNN、YOLO、YOLOv2、SSD，也属于CNN，但和2是另一条路线。
2和3的区别在于，2属于用于图像分类的CNN，3属于用于目标检测的CNN。

RNN

...

图像语义分割：一张图片上有不同类的物体，用方框画出

1，图像划分为n多小块（可能是每个像素就是一块，但复杂度高 ），分别识别属于那一类，然后合在一起

​ 对于相邻或重复的块，可以共享计算

2，全连接卷积网络

分类定位

知道物体数量

对象识别：目标检测

使用框框框主一类事物

1，框框大小变化位置移动，以此寻找目标位置 计算量大

2，寻找点状n个点状候选区（1000-2000），经过卷积计算RCNN

3，fast-rcnn

4，ssd 图片分为nxn的网格，检测每个格中概率

5，mask rcnn

PCA:主成分分析 降维方法

生成式模型：无监督学习的一种

pixelRNNs

pixelCNNs

自编码器VAE

生成式对抗网络

目标检测

​ 自动驾驶

​ 人脸检测与识别

​ 行为识别

​ 目标计数

实时目标检测

​ 目标分类，定位目标

​ 实时性与性能 需要平衡