最近学习tensorflow，发现其读取数据的方式看起来有些不同，所以又重新系统地看了一下文档，总得来说，tensorflow 有三种主流的数据读取方式:
1) 传送 (feeding): Python 可以在程序的运行过程中，将数据传送进定义好的 tensor 变量中
2) 从文件读取 (reading from files): 一个输入流从文件中直接读取数据
3) 预加载数据 (preloaded data): 这个很好理解，就是将所有的数据一次性全部读进内存里。
对于第三种方式，在数据量小的时候，是非常高效的，但是如果数据量很大的时候，这种方法显然非常耗内存，所以在数据量很大的时候，一般选择第二种读取方式，即从文件读取。在利用第二种方式读取的时候，我们常常会用到一种 TFRecords 的格式来保存读取的文件。TFRecords 是一种二进制文件。可以在TensorFlow 中方便的进行各种存取操作以及预处理。
我们先来看看，如何将一张图片转换成字符流
import os
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import skimage.io as io
dir_path = 'Face'
file_list = os.listdir(dir_path)
print file_list
for f in file_list:
print (dir_path + os.sep + f)
img_1 = io.imread(dir_path + os.sep + file_list[0])
#plt.imshow(img_1, cmap='gray')
#plt.show()
# 将图像转换成字符
img_str = img_1.tostring()
# 将字符流还原成图像
img_rec_vec = np.fromstring(img_str, dtype=np.uint8)
img_rec = img_rec_vec.reshape(img_1.shape)
#plt.imshow(img_rec, cmap='gray')
#plt.show()
接下来，我们看看，如何生成 TFRecords 文件:
def _bytes_feature(value):
return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
def _int64_feature(value):
return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
tfrecords_filename = 'Face.tfrecords'
writer = tf.python_io.TFRecordWriter(tfrecords_filename)
for img_path in file_list:
img = np.array(io.imread(dir_path + os.sep + img_path))
# 从文件夹里读取图像
# 获取图像的宽和高，图像的维度需要存入 TFRecords 文件中
# 以方便后续的处理
#
height = img.shape[0]
width = img.shape[1]
# 将图像转换成字符流
img_raw = img.tostring()
# 将字符流以及图像的尺度信息存入TFRecords 文件
example = tf.train.Example(features=tf.train.Features(feature={
'height': _int64_feature(height),
'width': _int64_feature(width),
'image_raw': _bytes_feature(img_raw)}))
writer.write(example.SerializeToString())
writer.close()最后，我们看看如何从 TFrecords 文件中读数据，并且做批处理：
# 可以重新定义图像的宽和高，
IMAGE_HEIGHT = 224
IMAGE_WIDTH = 224
# 定义读取与解码函数
def read_and_decode(filename_queue):
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)
# 获取 features，包含图像，以及图像宽和高
features = tf.parse_single_example(
serialized_example,
features={
'height': tf.FixedLenFeature([], tf.int64),
'width': tf.FixedLenFeature([], tf.int64),
'image_raw': tf.FixedLenFeature([], tf.string),
})
# 获取图像信息
image = tf.decode_raw(features['image_raw'], tf.uint8)
height = tf.cast(features['height'], tf.int32)
width = tf.cast(features['width'], tf.int32)
# 将图像转换成多维数组的形式
image_shape = [height, width, 1]
image = tf.reshape(image, image_shape)
# 重新定义图像的尺度
image_size_const = tf.constant((IMAGE_HEIGHT, IMAGE_WIDTH, 1), dtype=tf.int32)
# Random transformations can be put here: right before you crop images
# to predefined size. To get more information look at the stackoverflow
# question linked above.
# 对图像进行预处理，包括裁剪，增边等
resized_image = tf.image.resize_image_with_crop_or_pad(image=image,
target_height=IMAGE_HEIGHT,
target_width=IMAGE_WIDTH)
return resized_image
#
filename_queue = tf.train.string_input_producer(
[tfrecords_filename], num_epochs=10)
# Even when reading in multiple threads, share the filename
# queue.
train_images = read_and_decode(filename_queue)
# 要注意 min_after_dequeue 不能超过 capacity
image = tf.train.shuffle_batch([train_images],
batch_size=1,
capacity=5,
num_threads=2,
min_after_dequeue=1)
# The op for initializing the variables.
init_op = tf.group(tf.global_variables_initializer(),
tf.local_variables_initializer())
with tf.Session() as sess:
sess.run(init_op)
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(coord=coord)
# Let's read off 3 batches just for example
for i in xrange(1):
img = sess.run([image])
img_batch = img[0]
img_1 = tf.reshape(img_batch[0, :, :, :], [IMAGE_HEIGHT, IMAGE_WIDTH])
print (img_1.shape)
plt.imshow(sess.run(img_1), cmap='gray')
# coord.request_stop()
# coord.join(threads)
plt.show()
print 'all is well'参考来源：
http://codecloud.net/16485.html
http://warmspringwinds.github.io/tensorflow/tf-slim/2016/12/21/tfrecords-guide/