MNIST机器学习

MNIST是一个入门级的计算机视觉数据集,MINIST数据集包含两部分:60000行训练数据集和10000行测试数据集;每一个MNIST数据单元包含一张手写数字图片和每一张图片对应的标签;我们把这些图片设为“xs",标签设为”ys“,训练数据集和测试数据集都包含xs和ys;

在MNIST训练数据集中,图片集是一个形状为[60000,784]的张量,第一个维度数字用来索引图片,第二个维度数字用来索引每张图片中的像素点,在此张量里的每一个元素,都表示某张图片里的某个像素的强度值,值介于0和1之间;标签集是一个[60000,10]的数字矩阵;

Softmax Regression:简单的数学模型;softmax模型可以用来给不同的对象分配概率

Softmax回归: 分两步:第一步:为了得到一张给定图片属于某个特定数字类的证据,我们对图片像素进行加权求和(像素有很强的证据不属于该类,相应权值为负数,像素有很强的证据属于该类,相应权值为正数);第二步:用softmax函数可以把这些证据转换为概率y;

训练模型:需要定义一个指标来评估这个模型是好的;在机器学习中,通常定义指标来表示一个模型是坏的,这个指标称为成本或损失,然后尽量最小化这个指标(这两种方式是相同的)

交叉熵:一个非常常见的,非常漂亮的成本函数;交叉熵产生于信息论里面的信息压缩编码技术,后来演变成从博弈论到机器学习等其他领域里的重要技术手段;比较粗糙的理解是,交叉熵是用来衡量我们的预测用于描述真相的低效性;

原文地址:https://www.cnblogs.com/xiaowa/p/10558788.html