系列博客链接：
（第二章第一部分）TensorFlow框架之文件读取流程：https://www.cnblogs.com/kongweisi/p/11050302.html
（第二章第二部分）TensorFlow框架之读取图片数据：https://www.cnblogs.com/kongweisi/p/11050539.html
本文概述：
- 目标
- 应用tf.FixedLengthRecordReader实现二进制文件读取
- 应用tf.decode_raw实现解码二进制数据
- 应用
- CIFAR10类图片数据读取
1、CIFAR10二进制数据集介绍
https://www.cs.toronto.edu/~kriz/cifar.html
- 二进制版本数据文件
二进制版本
二进制版本包含文件data_batch_1.bin，data_batch_2.bin，...，data_batch_5.bin以及test_batch.bin。
这些文件中的每一个格式如下，数据中每个样本包含了目标值和特征值：
<1×标签> <3072×像素>
...
<1×标签> <3072×像素>
第一个字节是第一个图像的标签，它是一个0-9范围内的数字。接下来的3072个字节是图像像素的值。前1024个字节是红色通道值，下1024个绿色，最后1024个蓝色。值以行优先顺序存储，因此前32个字节是图像第一行的红色通道值。 每个文件都包含10000个这样的3073字节的“行”图像，但没有任何分隔行的限制。因此每个文件应该完全是30730000字节长。
2、CIFAR10 二进制数据读取
2.1 分析
- 构造文件队列
- 读取二进制数据并进行解码
- 处理图片数据形状以及数据类型，批处理返回
- 开启会话线程运行
2.2 代码
- 定义CIFAR类
class CifarRead(object): """ 二进制文件的读取，tfrecords存储读取 """ def __init__(self): # 定义一些图片的属性 self.height = 32 self.width = 32 self.channel = 3 self.label_bytes = 1 self.image_bytes = self.height * self.width * self.channel self.bytes = self.label_bytes + self.image_bytes
- 实现读取数据方法read_and_decode(self, file_list)
def read_and_decode(self, file_list): """ 读取二进制原始数据，解码成数据张量 :return: """ # 1、找构造文件队列 file_queue = tf.train.string_input_producer(file_list) # 2、使用二进制读取器读取内容 # 一共读取 1+3072=3073个字节 reader = tf.FixedLengthRecordReader(self.bytes) # 此时的value是某个文件的某个样本 key, value = reader.read(file_queue) # 3、二进制数据解码 decode_raw label_image = tf.decode_raw(value, tf.uint8) print(label_image) # 把图片的特征值和目标值单独拿出来处理 # tf.slice切片 label是：[0] 到 [1] image是：[1] 到 [3072] label = tf.slice(label_image, [0], [self.label_bytes]) image = tf.slice(label_image, [self.label_bytes], [self.image_bytes]) # 标签、图片的类型转换、形状转换 label_cast = tf.cast(label, tf.int32) # 设置图片的特征值形状 # 使用reshape去修改形状 # 图片特征值的数据，如果用于去训练计算，可以转换成float32类型 image_reshape = tf.reshape(image, [self.height, self.width, self.channel]) print(label_cast, image_reshape) # 4、批处理图片数据 image_batch, label_batch = tf.train.batch([image_reshape, label_cast], batch_size=10, num_threads=1, capacity=10) return image_batch, label_batch
- 会话逻辑
if __name__ == "__main__": # 生成路径+文件名的列表 filename = os.listdir(FLAGS.cifar_datadir) # 路径+名字拼接 file_list = [os.path.join(FLAGS.cifar_datadir, file) for file in filename if file[-3:] == "bin"]
# file_list = [os.path.join("路径", file) for file in filename]
# 实例化类 cr = CifarRead() # 从原始二进制文件读取 image_batch, label_batch = cr.read_and_decode(file_list)
# 开启会话打印内容 with tf.Session() as sess: # 创建线程协调器 coord = tf.train.Coordinator() # 开启子线程去读取数据 # 返回子线程实例 threads = tf.train.start_queue_runners(sess=sess, coord=coord) # 获取样本数据去训练 print(sess.run([image_batch, label_batch])) # 关闭子线程，回收 coord.request_stop() coord.join(threads)