數據集類型
DataLoader構造函數中最重要的參數是dataset,它指示數據集從哪兒加載。pytorch支持兩個不同類型的數據集。
map-style datasets
iterable-style datasets
一、Map-style datasets
map-style datasets 要實現__getitem__()和__len__(),通過索引/關鍵字查找數據樣例。如使用data[idx],可以從文件夾中讀第idx個圖像和對應的標簽。
二、Iterable-style datasets
iterable-style數據集是一個IterableDataset類的實例或子類,要實現__iter__(),可對數據樣例進行迭代。
使用iter(dataset)能返回因讀取數據庫,遠程服務器,實時產生的日志而產生的數據