MNIST手写字母识别(二）

增加隐藏层

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import tensorflow.examples.tutorials.mnist.input_data as input_data
mnist=input_data.read_data_sets("MNIST_data",one_hot=True)
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

print('训练集 train 数量：',mnist.train.num_examples,
      ',验证集 validation 数量：',mnist.validation.num_examples,
      ',测试集 test 数量：',mnist.test.num_examples)

# print('train images shape：',mnist.train.images.shape,
#       'labels shaple：',mnist.train.labels.shape)

# print((mnist.train.images[0].reshape(28,28)))
# print(len(mnist.train.images[0].shape))

# def plot_image(image):
#     plt.imshow(image.reshape(28,28))
#     plt.show()
#
# plot_image(mnist.train.images[1])
# plt.imshow(mnist.train.images[20000].reshape(14,56))
# plt.show()

# print(mnist.train.labels[1])
# print(np.argmax(mnist.train.labels[1]))
# mnist_no_one_hot=input_data.read_data_sets("MNIST_data",one_hot=False)
# print(mnist_no_one_hot.train.labels[0:10])
#
# print('validation images:',mnist.validation.images.shape,'labels:',mnist.validation.labels.shape)
#
# print('test images:',mnist.test.images.shape,'labels:',mnist.test.labels.shape)
#
# batch_images_xs,batch_labels_ys=mnist.train.next_batch(batch_size=10)
# print(mnist.train.labels[0:10])
# # print(batch_labels_ys)

# mnist中每张图片共有28*28=784个像素点
x=tf.placeholder(tf.float32,[None,784])
# 0-9一共10个数字->10个类别
y=tf.placeholder(tf.float32,[None,10])

# 定义模型变量(以正态分布的随机数初始化权重W，以常数0初始化偏置b)
W=tf.Variable(tf.random_normal([784,10],mean=0.0,stddev=1.0))
b=tf.Variable(tf.zeros([10]))

# 前向计算
forward=tf.matmul(x,W)+b
#softmax分类
pred=tf.nn.softmax(forward)
# 定义交叉熵损失函数
loss_function=tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred),reduction_indices=1))

# 设置训练参数
train_epochs=150 # 训练轮数
batch_size=50 # 单次训练样本数（批次大小）
total_batch=int(mnist.train.num_examples/batch_size) # 一轮训练的批次数
display_step=1 # 显示粒度
learning_rate=0.04 # 学习率

# 分类模型构建与训练实践
#选择优化器,梯度下降
optimizer=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss_function)

# 定义准确率，检查预测类别tf.argmax(pred,1)与实际类别tf.argmax(y,1)的匹配情况
correct_prediction=tf.equal(tf.argmax(pred,1),tf.argmax(y,1))
# 准确率，将布尔值转化为浮点数，并计算平均值
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

# 声明会话
sess=tf.Session()
init=tf.global_variables_initializer()
sess.run(init)

# 训练模型
for epoch in range(train_epochs):
      for batch in range(total_batch):
            xs, ys = mnist.train.next_batch(batch_size)  # 读取批次数据
            sess.run(optimizer, feed_dict={x: xs, y: ys})  # 执行批次训练

      # total_batch批次训练完成之后，使用验证数据计算误差与准确率，验证集没有分批。
      loss, acc = sess.run([loss_function, accuracy],feed_dict={x: mnist.validation.images, y: mnist.validation.labels})

      # 打印训练过程中的详细信息
      if (epoch + 1)% display_step==0:
            print("train_epoch:", '%02d' % (epoch + 1), "loss=", "{:.9f}".format(loss),"accuracy=", '{:.4f}'.format(acc))
print("train finished!")

# 在测试集上评估模型准确率
accu_test=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
print("test accuracy:",accu_test)

# 在验证集上评估模型准确率
accu_validation=sess.run(accuracy,feed_dict={x:mnist.validation.images,y:mnist.validation.labels})
print("validatin accuracy:",accu_validation)

# 在训练集上评估模型准确率
accu_train=sess.run(accuracy,feed_dict={x:mnist.train.images,y:mnist.train.labels})
print("tarin accuracy:",accu_train)

# 由于pred预测结果是one-hot编码格式，所以需要转化为0~9数字
prediction_result=sess.run(tf.argmax(pred,1),feed_dict={x:mnist.test.images})

# 查看结果中的前十项
prediction_result[0:10]
# 定义可视化函数

def plt_images_labels_prediction(images,  # 图像列表
                                  labels,  # 标签列表
                                  prediction,  # 预测值列表
                                  index,  # 从第index个开始显示
                                  num=10):  # 缺省依次显示10副
      fig = plt.gcf()  # 获取当前图表，get current figure
      fig.set_size_inches(10, 12)  # 1英寸等于2.54cm
      if num > 25:
            num = 25  # 最多显示25个子图
      for i in range(0, num):
            ax = plt.subplot(5, 5, i + 1)  # 获取当前要处理的子图

            ax.imshow(np.reshape(images[index], (28, 28)),
                      cmap='binary')  # 显示第index个图像
            title = "labels=" + str(np.argmax(labels[index]))  # 构建该图上要显示的title信息
            if len(prediction) > 0:
                  title += ",predict=" + str(prediction[index])

            ax.set_title(title)  # 显示图上的title
            ax.set_xticks([])  # 不显示坐标轴
            ax.set_yticks([])
            index += 1
      plt.show()
# 可视化预测结果
plt_images_labels_prediction(mnist.test.images,
                             mnist.test.labels,
                             prediction_result,10,25)