image和TFRecord互相轉換

關說不練假把式。手上正好有車牌字符的數據集，想把他們寫成TFRecord格式，然后讀進來，構建一個簡單的cnn訓練看看。然后發現准確率只有0.0x。隨機猜也比這要好點吧。只能一步步檢查整個過程。暫時想到問題可能出現的地方：

• 數據編碼解碼錯誤
• 網絡構建問題
• 學習步長問題
• 數據量太小
• label設置

不確定是不是這些問題先檢查下，tensorboard能給我們很多信息。今天先檢查了圖片解碼編碼問題。在讀取數據的時候為image增加一個summary，這樣就能在tensorboard上看到圖片了。

img=tf.summary.image('input',x,batch_size)

tensorboard的使用之前有說過。出現的結果說我沒有圖片記錄，大約是這個意思。所以我的解碼編碼程序還是有問題。圖片編碼成tfreord無非就是把圖片數據按照tfrecord的格式填進去。tfrecord是example的集合，example的格式：

message Example {#message類似於類
  Features features = 1;
};

而 Features 是字典集合，（key，value）。

 

下面直接上tfrecord編碼解碼代碼，改好過的。

import tensorflow as tf
import numpy as np
import glob
import os
from PIL import Image
def _int64_feature(value):
    if not isinstance(value,list):
        value=[value]
    return tf.train.Feature(int64_list=tf.train.Int64List(value=value))
def _byte_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
def encode_to_tfrecords(data_path,name,rows=24,cols=16):#從圖片路徑讀取圖片編碼成tfrecord
    folders=os.listdir(data_path)#這里都和我圖片的位置有關
    folders.sort()
    numclass=len(folders)
    i=0
    npic=0
    writer=tf.python_io.TFRecordWriter(name)
    for floder in folders:
        path=data_path+"/"+floder
        img_names=glob.glob(os.path.join(path,"*.bmp"))
        for img_name in img_names:
            img_path=img_name
            img=Image.open(img_path).convert('P')
            img=img.resize((cols,rows))
            img_raw=img.tobytes()
            labels=[0]*34#我用的是softmax，要和預測值的維度一致
            labels[i]=1
            example=tf.train.Example(features=tf.train.Features(feature={#填充example
                'image_raw':_byte_feature(img_raw),
                'label':_int64_feature(labels)}))
            writer.write(example.SerializeToString())#把example加入到writer里，最后寫到磁盤。
            npic=npic+1
        i=i+1
    writer.close()
    print npic

def decode_from_tfrecord(filequeuelist,rows=24,cols=16):
    reader=tf.TFRecordReader()#文件讀取
    _,example=reader.read(filequeuelist)
    features=tf.parse_single_example(example,features={'image_raw':#解碼
            tf.FixedLenFeature([],tf.string),
            'label':tf.FixedLenFeature([34,1],tf.int64)})
    image=tf.decode_raw(features['image_raw'],tf.uint8)
    image.set_shape(rows*cols)
    image=tf.cast(image,tf.float32)*(1./255)-0.5
    label=tf.cast(features['label'],tf.int32)
    return image,label
    

def get_batch(filename_queue,batch_size):
    with tf.name_scope('get_batch'):
        [image,label]=decode_from_tfrecord(filename_queue)
        images,labels=tf.train.shuffle_batch([image,label],batch_size=batch_size,num_threads=2,
                 capacity=100+3*batch_size,min_after_dequeue=100)  
        return images,labels

    
def generate_filenamequeue(filequeuelist):
    filename_queue=tf.train.string_input_producer(filequeuelist,num_epochs=5)
    return filename_queue

def test(filename,batch_size):
    filename_queue=generate_filenamequeue(filename)
    [images,labels]=get_batch(filename_queue,batch_size)
    init_op = tf.group(tf.global_variables_initializer(),
                       tf.local_variables_initializer())
    sess=tf.InteractiveSession()
    sess.run(init_op)
    coord=tf.train.Coordinator()
    threads=tf.train.start_queue_runners(sess=sess,coord=coord)
    i=0
    try:
        while not coord.should_stop():
            image,label=sess.run([images,labels])
            i=i+1
            if i%1000==0:
                for j in range(batch_size):#之前tfrecord編碼的時候，數據范圍變成[-0.5,0.5],現在相當於逆操作，把數據變成圖片像素值
                    image[j]=(image[j]+0.5)*255
                    ar=np.asarray(image[j],np.uint8)
                    #image[j]=tf.cast(image[j],tf.uint8)
                    print ar.shape
                    img=Image.frombytes("P",(16,24),ar.tostring())#函數參數中寬度高度要注意。構建24×16的圖片
                    img.save("/home/wen/MNIST_data/reverse_%d.bmp"%(i+j),"BMP")#保存部分圖片查看
            '''if(i>710):
                print("step %d"%(i))
                print image
                print label'''
    except tf.errors.OutOfRangeError:
        print('Done training -- epoch limit reached')
    finally:
    # When done, ask the threads to stop.
        coord.request_stop()

# Wait for threads to finish.
    coord.join(threads)
    sess.close()

讀取文件的動態圖，來自官網教程：

在文件夾中：

在tensorboard里：

終於看見熟悉的圖片了，現在數據編碼解碼沒問題，效果依然0.0x。。。。

錯誤改掉一個少一個，接着檢查其他部分。

debug過程中，一直在google，stackoverflow，官網documents，度娘略微雞肋。

***********************************************************************************************************************************************************************************************

 

猜測是同類樣本集中b並且同類數據多，用batch_shuffle裝進來的都還是同類