深度学习入门2

---恢复内容开始---

title: why batch norm work

没太理解

title: softmax regression

多分类问题,输出层变成一个n维向量,有几个类就几维,每一个元素对应属于这个类的概率

softmax激活函数,挺简单的啊

softmax这一层,本身是划分线性边界的

title: deep learning frameworks

选择框架的标准,编程的简洁性,运行的速度,真正的开源

tensorflow里面,只需要显式的指明正向传播,反向传播是框架会帮我算的

第三系列课程:structing machine learning projects

title: why ML strategy

因为网络中,可以调整的东西太多了,激活函数,层数,节点数,数据集,学习率等等

如果瞎试的话,效率很低

 

title:orthogonalization

正交化,代表一种思想,对于每一个参数的调整,刚好对应系统某一方面的表现的变化,这样的话我们才好做tuning

title: single number evaluation metric

选一个最关注的指标,以此为标准训练模型

title: satisficing and optimizing metric

满足指标,比如运行时间,低于某一个阈值就可以了,

优化指标,比如准确率,越高越好,

---恢复内容结束---

title: why batch norm work

没太理解

title: softmax regression

多分类问题,输出层变成一个n维向量,有几个类就几维,每一个元素对应属于这个类的概率

softmax激活函数,挺简单的啊

softmax这一层,本身是划分线性边界的

title: deep learning frameworks

选择框架的标准,编程的简洁性,运行的速度,真正的开源

tensorflow里面,只需要显式的指明正向传播,反向传播是框架会帮我算的

第三系列课程:structing machine learning projects

title: why ML strategy

因为网络中,可以调整的东西太多了,激活函数,层数,节点数,数据集,学习率等等

如果瞎试的话,效率很低

 

title:orthogonalization

正交化,代表一种思想,对于每一个参数的调整,刚好对应系统某一方面的表现的变化,这样的话我们才好做tuning

title: single number evaluation metric

选一个最关注的指标,以此为标准训练模型

title: satisficing and optimizing metric

满足指标,比如运行时间,低于某一个阈值就可以了,

优化指标,比如准确率,越高越好,

原文地址:https://www.cnblogs.com/zherlock/p/10974734.html