深度学习——02、深度学习入门 814

08softmax分类器

sigmoid函数

在这里插入图片描述

softmax分类器：

Softmax的输出（归一化的分类概率）
归一化参见：python人工智能——机器学习——特征工程 5.数据的特征预处理

损失函数：交叉熵损失（cross-entropy loss）
在这里插入图片描述
被称作softmax 函数
其输入值是一个向量，向量中元素为任意实数的评分值。

输出一个向量，其中每个元素值在0到1之间，且所有元素之和。

softmax分类的损失函数

在这里插入图片描述

损失函数对比

在这里插入图片描述

09最优化形象解读

结合人下山的方式考虑，找到一种下山最快的路径。

10梯度下降算法原理

在这里插入图片描述

跟随梯度

在这里插入图片描述

11反向传播

参见：PaddlePaddle训练营——公开课——AI核心技术掌握——第1章迈入现代人工智能的大门——深度学习的基础算法——反向传播算法简介
在这里插入图片描述

12神经网络整体架构

神经网络

在这里插入图片描述

激活函数

在这里插入图片描述

由于sigmoid会发生梯度消失，因此已经淘汰。

在这里插入图片描述

现在常用的激活函数

在这里插入图片描述

单层神经网络

在这里插入图片描述

双层神经网络

在这里插入图片描述

n层神经网络

13神经网络模型实例演示


layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'});
layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'});
layer_defs.push({type:'softmax', num_classes:2});

net = new convnetjs.Net();
net.makeLayers(layer_defs);

trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});