'''
思路：
1、调用数据集 2、定义用来实现神经元功能的函数（包括解决过拟合） 3、定义输入和输出的数据
4、定义隐藏层（函数）和输出层（函数） 5、分析误差和优化数据（改变权重）
6、执行神经网络
'''
import tensorflow as tf
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelBinarizer
#调用数据
digits = load_digits()#下载数据
X = digits.data #样本特征
Y = digits.target #样本准确值
y = LabelBinarizer().fit_transform(Y) #将数据转化为二值数组
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.3)#分配数据
'''
扩展知识点
train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和test data，形式为：
X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)
参数代表含义:
train_data：所要划分的样本特征集
train_target：所要划分的样本结果
test_size：样本占比，如果是整数的话就是样本的数量
random_state：是随机数的种子。
'''
print(len(X_train))
#定义用来实现神经元功能的函数
def add_layer(inputs,in_size,out_size,keep_prob,layer_name,activation_function=None):
Weights = tf.Variable(tf.random_normal([in_size,out_size]))
biases = tf.Variable(tf.zeros([1,out_size])+0.1)
Wx_plus_Bx = tf.matmul(inputs,Weights)+biases
#在这里处理过拟合
Wx_plus_b = tf.nn.dropout(Wx_plus_Bx,keep_prob)
if activation_function==None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
tf.summary.histogram(layer_name+'/outputs',outputs)
return outputs
#定义输入和输出的数据
x_data = tf.placeholder(tf.float32,[None,64])#这是因为sklearn中的手写图片的像素和、为8*8
y_data = tf.placeholder(tf.float32,[None,10])#数字只有10个
keep_prob = tf.placeholder(tf.float32)#定义过拟合数
#定义隐藏层和输出层
layer = add_layer(x_data,64,50,keep_prob,'l1',tf.nn.tanh)#隐藏层
prediction = add_layer(layer,50,10,keep_prob,'l2',tf.nn.softmax)#输出层
#分析误差和优化数据
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_data*tf.log(prediction),reduction_indices=[1]))
scalar_loss = tf.summary.scalar('loss',cross_entropy)
train_step = tf.train.GradientDescentOptimizer(0.6).minimize(cross_entropy)
#初始化所有的变量
init = tf.global_variables_initializer()
merged = tf.summary.merge_all()#定义一个图框
'''
因为sess是在sess的时候才出现的，所以应该写在sess的面
train_writer = tf.summary.FileWriter('logs/train',sess.graph)
test_writer = tf.summary.FileWriter('logs/test',sess.graph)
'''
#执行
with tf.Session()as sess:
sess.run(init)
#写入网页，这当中只有histogram和scaler同时出现才能写入网页
train_writer = tf.summary.FileWriter('Logs/train',sess.graph)
test_writer = tf.summary.FileWriter('Logs/test',sess.graph)
for i in range(1000):
sess.run(train_step,feed_dict = {x_data:X_train,y_data:y_train,keep_prob:0.6})
if i%50==0:
train_result = sess.run(merged,feed_dict={x_data:X_train,y_data:y_train,keep_prob:1})
'''
这个merged会自动的将预测值的精确度求出来
'''
test_result = sess.run(merged,feed_dict={x_data:X_test,y_data:y_test,keep_prob:1})
train_writer.add_summary(train_result,i)#将数据划入图中
test_writer.add_summary(test_result,i)#将数据划入图中
'''
这里出现一个错误：就是test_result = sess.run(scalar_loss,feed_dict={x_data:X_test,y_data:y_test,keep_prob:1})
train_result = sess.run(scalar_loss,feed_dict={x_data:X_train,y_data:y_train,keep_prob:1})中的scalar_loss
改为merged的时候，再次执行就会报错
解决办法
1、我们可以关机，然后把logs文件里面的东西删除，然后在执行一次。因为他是系统日志文件
2、由于我，这里只是想损失函数loss通过tensorboard显示出来而已，并且字典表也正常赋值了：
result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
一切都很正常，想来想去感觉这个函数应该可以采用其他方式替换：
merged = tf.summary.merge_all()
这是tensorflow提供的合并所有summary信息的api，但是我只是想合并损失函数loss的summary
'''