深度学习笔记（1-1）

第一周

1.什么是深度学习

深度学习指的是训练神经网络

神经网络是啥?

比如做一个房价预测，输入一个房子的面积x，通过一个神经元（neuron），输出一个房价y

大点的神经网络就是把这些神经元组合起来

修正线性单元，即ReLU（Rectified linear unit），修正是指取不小于0的值

监督学习

输入一些x，得到一个y

结构化的数据

例如一张表，每个属性都有一个值，

非结构化的数据

例如一张图，一段音频

为什么现在深度学习现在流行起来了呢？

早期的数据很少，传统的模型进入平台期

现在我们能获得很多数据，硬件水平也上来了，算力很高

如何获得一个好的神经网络呢

规模越大的神经网络，和数据越多的神经网络效果约好

我们规定用小写字母m来表示训练集的规模

第二周

1.logistic回归

二分分类问题：根据x得出y是0或1

关于logistic的训练集和测试集

2.关于logistic回归的概述

给出x是一个((n imes m))的实矩阵来表示图像，想要求得是不是一只猫的概率(hat{y}=P(y=1|x)space 其中0lehat{y} le 1)

已知w也是一个((n imes m))的实矩阵，b是一个实数

所以我们根据线性回归得到(hat{y}=sigmoid(w^Tx+b))

(sigmoid(z)=dfrac{1}{z+e^{-z}})

所以在做回归的过程中的关键就是train出w和b

b对映一个拦截器

但是在有些课程中，有一些符号会将w和b合并起来，其中的( heta^0)表示的是b

3.关于logistic的损失函数

有上节课可知(hat{y}=sigmoid(w^Tx+b),wherespace sigmoid(z)=dfrac{1}{z+e^{-z}})

其中为了区分训练样本和测试样本，训练样本((i))所对应的预测值是(hat{y}^{(i)})

损失函数可以定义为(L(hat{y},y)=dfrac{(hat{y}-y)^2}{2})，但是这个函数是非凸的，我们可能得到的是一个局部最优，不利于梯度下降

所以这里的损失函数来评估训练结果，(L(hat{y},y)=-(yloghat{y}+(1-y)log(1-hat{y})))

成本函数衡量了w和b在训练集上的效果(J(w,b)=frac{1}{m}sum^{m}_{i=1}L(hat{y}^{(i)},y^{(i)})=-frac{1}{m}sum^{m}_{i=1}(y^{(i)}loghat{y}^{(i)}+(1-y^{(i)})log(1-hat{y}^{(i)})))

评估函数越小越好

4.关于梯度下降法

使用梯度下降方法来训练出w和b，为了找到最小的(j(w,b))值，我们取一点后朝着最快的下降反向往下走，反复执行此操作，直到找到最小值，因为logistic的损失函数是一个凸函数，所以我们可以找到最小值

[w:=w-alpha dw ]

其中的(alpha)表示的是学习率，也就是步长，(dw)表示的是J函数关于w的导数，所以，所谓的梯度下降法就是使整体朝着下降速度最快的方向下降，同理，对于参数b，也是一样的、需要注意的是，(dw和db)表示的应该是关于J函数的偏导数

5.关于导数

导数=函数在这点的斜率=函数的变化率

6.关于计算logistic的梯度下降方法

首先logistic的计算公式

(z=w^Tx+b)

(hat{y}=a=sigmoid(z))

(a=sigmoid(z)=dfrac{1}{z+e^{-z}})

(L(a,y)=-(ylog a+(1-y)log(1-a)))

假设有两个特征值x1,x2,输入参数w1,w2和b

(z=w_1x_1+w_2x_2+b)

(L=(a,y))

然后我们来求导可以得到

(da=dl/da=-y/a+(1-y)/(1-a))

(dz=dl/dz=dl/da * da/dz=a-y)

然后我们可以求得(dw)和(db)的值

(dl/dw_1 = dw_1=x_1dz \ dl/dw_2 = dw_2=x_2dz \ dl/db = db=dz)

根据梯度下降的公式进行一次计算

(w_1:=w_1 - alpha dw_1 \ w_2:=w_2 - alpha dw_2 \b:=b - alpha db)

就能得到一次梯度下降的参数

7.m个样本的梯度下降

关于logistic的成本函数在第3节中已有叙述：

(J(w,b)=frac{1}{m}sum^{m}_{i=1}L(a^{(i)},y^{(i)})=-frac{1}{m}sum^{m}_{i=1}(y^{(i)}log a^{(i)}+(1-y^{(i)})log(1-a^{(i)})))

当只有单个样本(w1^{(i)})，(w2^{(i)})，(b^{(i)})，就像上节所示例的那样，

所以此时(alpha J/alpha w_1=1/m * sum_{i=1}^{m} alpha L/alpha w_1)（省略了很多细节

可以发现，这就是把上节的(dw_1)加起来求平均值，所以我们可以用伪代码来实现

8.向量化

我们用向量化后的数值来计算的时间对比于用for可以快很多

可以看到，向量化之后的运行速度会大幅上升

因为numpy可以调用CUP和GPU来进行大量并行运算

总之我们能避免使用for就尽量避免

9.向量化来实现logistic回归(课后作业)

# 首先：下面是无向量化的实现

10.python中的广播

给一个矩阵求出carb和fat和protein中所占的百分比（使用向量化

import numpy as np
A = np.array([[56.0, 0.0, 4.4, 68.0], [1.2, 104.0, 52.0, 8.0],
              [1.8, 135.0, 99.0, 0.9]])
temp1 = A.sum(axis=0)
p = 100 * A / (temp1.reshape(1, 4))
print(p)