tensorflow學習筆記(10) mnist格式數據轉換為TFrecords

 本程序

(1)mnist的圖片轉換成TFrecords格式

(2) 讀取TFrecords格式

# coding:utf-8
# 將MNIST輸入數據轉化為TFRecord的格式
# http://blog.csdn.net/u014182497/article/details/74376224

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import numpy as np
from PIL import Image

#把傳入的value轉化為整數型的屬性，int64_list對應着 tf.train.Example 的定義
def _int64_feature(value):
    return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

#把傳入的value轉化為字符串型的屬性，bytes_list對應着 tf.train.Example 的定義
def _bytes_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def genmnsit_tfreords():
    #讀取MNIST數據
    mnist = input_data.read_data_sets("./mnist_data", dtype=tf.uint8, one_hot=True)
    #訓練數據的圖像，可以作為一個屬性來存儲
    images = mnist.train.images
    #訓練數據所對應的正確答案，可以作為一個屬性來存儲
    labels = mnist.train.labels
    #訓練數據的圖像分辨率，可以作為一個屬性來存儲
    pixels = images.shape[0]
    #訓練數據的個數
    num_examples = mnist.train.num_examples
    #指定要寫入TFRecord文件的地址
    filename = "./output.tfrecords"
    #創建一個write來寫TFRecord文件
    writer = tf.python_io.TFRecordWriter(filename)
    for index in range(num_examples):
        #把圖像矩陣轉化為字符串
        image_raw = images[index].tostring()
        #將一個樣例轉化為Example Protocol Buffer，並將所有的信息寫入這個數據結構
        example = tf.train.Example(features=tf.train.Features(feature={
            #'pixels': _int64_feature(pixels),
            'label': _int64_feature(np.argmax(labels[index])),
            'image_raw': _bytes_feature(image_raw)}))
        #將 Example 寫入TFRecord文件
        writer.write(example.SerializeToString())

    writer.close()

#讀取TFRecord文件中的數據
def read_tfrecords():
    #創建一個reader來讀取TFRecord文件中的樣例
    reader = tf.TFRecordReader()
    #通過 tf.train.string_input_producer 創建輸入隊列
    filename_queue = tf.train.string_input_producer(["./output.tfrecords"])
    #從文件中讀取一個樣例
    _, serialized_example = reader.read(filename_queue)
    #解析讀入的一個樣例
    features = tf.parse_single_example(
        serialized_example,
        features={
            #這里解析數據的格式需要和上面程序寫入數據的格式一致
            'image_raw': tf.FixedLenFeature([], tf.string),
            'label': tf.FixedLenFeature([], tf.int64),
        })
    #tf.decode_raw可以將字符串解析成圖像對應的像素數組
    images = tf.decode_raw(features['image_raw'], tf.uint8)
    images = tf.reshape(images, [28, 28, 1])
    #tf.cast可以將傳入的數據轉化為想要改成的數據類型
    labels = tf.cast(features['label'], tf.int32)

    sess = tf.Session()
    #啟動多線程處理輸入數據
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)

    num_preprocess_threads = 1
    batch_size = 1
    min_queue_examples = 50
    images_batch, label_batch = tf.train.shuffle_batch(
        [images, labels],
        batch_size=batch_size,
        num_threads=num_preprocess_threads,
        capacity=min_queue_examples + 3 * batch_size,
        min_after_dequeue=min_queue_examples)

    image = tf.reshape(images_batch, [28, 28])
    with tf.Session() as sess:
        init = tf.global_variables_initializer()
        sess.run(init)
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(sess=sess, coord=coord)
        # 每次運行可以讀取TFRecord文件中的一個樣例。當所有樣例都讀完之后，再次樣例中的程序會重頭讀取
        for i in range(5):
            data, label = sess.run([image, label_batch])
            result = Image.fromarray(data)
            result.save(str(i) + '.png')
            pass
        pass
        coord.request_stop()
        coord.join(threads)
if __name__ == '__main__':
    genmnsit_tfreords()
    read_tfrecords()