tensorflow-- Dataset創建數據集對象

tf.data模塊包含：

•  experimental 模塊
•  Dataset 類
•  FixedLengthRecordDataset 類
• TFRecordDataset 類
• TextLineDataset 類

#  author by FH.
#  OverView:
#  tf.data
#           experimental  ---Modules
#           Dataset      ---class
#           FixedLengthRecordDataset  ---class
#           TFRecordDataset           ---class
#           TextLineDataset           ---class
import tensorflow as tf
import numpy as np


# 1. 使用靜態方法 tf.data.Dataset.from_tensor_slices
#       將輸入的第一個維度切割，形成dataset
# 2. 使用 Dataset的 make_one_shot_iterator() 實例化一個 iterator
#       這個iterator 只能從頭到尾讀取一次。“one shot iterator”
def test1():
    sess = tf.Session()
    dataset1 = tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))
    dataset2 = tf.data.Dataset.from_tensor_slices(np.array([[1,2],[3,4],[0,9]]))
    dataset3 = tf.data.Dataset.from_tensor_slices(
        {
            "a":np.array([1.0,2,3,4,5.0]),
            "b":np.random.uniform(size=(5,2))
        }
    )
    # 使用 Dataset的 make_one_shot_iterator() 實例化一個 iterator
    #     這個iterator 只能從頭到尾讀取一次。“one shot iterator”
    oneShotIterator1 = dataset1.make_one_shot_iterator()
    oneShotIterator2 = dataset2.make_one_shot_iterator()
    oneShotIterator3 = dataset3.make_one_shot_iterator()
    element1 = oneShotIterator1.get_next()
    element2 = oneShotIterator2.get_next()
    element3 = oneShotIterator3.get_next()
    for i in range(5):
        print(sess.run(element1))
    for i in range(3):
        print(sess.run(element2))
    for i in range(5):
        print(sess.run(element3))
    sess.close()

# 1.Dataset 中的數據元素轉換。
#           map() :參數為一個函數，將dataset中的每個元素帶入獲取新的值
#           batch(): 參數為一個整數，將多個元素組合成一個batch
def test2():
    sess = tf.Session()
    dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0,6]))
    # map() 重新映射新的元素值
    dataset1 = dataset.map(lambda x: x * 3)
    # batch()  2個組成一個batch, 組成batch 之后size 為3
    dataset2 = dataset.batch(2)
    # shuffle() 打亂dataset
    dataset3 = dataset.shuffle(buffer_size=3)
    # repeat()  將整個序列重復多次，重復4次 size 為24
    dataset4 = dataset.repeat(4)

    oneShotIterator1 = dataset1.make_one_shot_iterator()
    oneShotIterator2 = dataset2.make_one_shot_iterator()
    oneShotIterator3 = dataset3.make_one_shot_iterator()
    oneShotIterator4 = dataset4.make_one_shot_iterator()
    element1 = oneShotIterator1.get_next()
    element2 = oneShotIterator2.get_next()
    element3 = oneShotIterator3.get_next()
    element4 = oneShotIterator4.get_next()
    for i in range(6):  # map()
        print(sess.run(element1))
    for i in range(3):  # batch()
        print(sess.run(element2))
    for i in range(6):  # shuffle()
        print(sess.run(element3))
    for i in range(24): # repeat()
        print(sess.run(element4))
    sess.close()

# example1: 讀取圖片和相應的標簽並打亂，組成
#          batch_size=2 的數據集，重復10 epoch
def _parse_function(imgfilename,label):
    image_value = tf.read_file(imgfilename)
    img = tf.image.decode_image(image_value)
    img = tf.image.resize_images(img,[256,256])
    return img,label
def example1():
    # 圖片列表
    filesnames = tf.constant(['name1.jpg','name3.jpg','name5.jpg','name6.jpg','name7.jpg','name8.jpg'])
    # 對應標簽
    labels = tf.constant([0,1,0,1,1,0])
    # dataset  (名稱，標簽)
    dataset = tf.data.Dataset.from_tensor_slices((filesnames,labels))
    # map 映射成圖片和標簽
    dataset = dataset.map(_parse_function)
    # shuffle ,batch , repeat
    dataset = dataset.shuffle(buffersize=3).batch(2).repeat(10)
    return dataset

if __name__ == '__main__':
    test2()