数据集类型
DataLoader构造函数中最重要的参数是dataset,它指示数据集从哪儿加载。pytorch支持两个不同类型的数据集。
map-style datasets
iterable-style datasets
一、Map-style datasets
map-style datasets 要实现__getitem__()和__len__(),通过索引/关键字查找数据样例。如使用data[idx],可以从文件夹中读第idx个图像和对应的标签。
二、Iterable-style datasets
iterable-style数据集是一个IterableDataset类的实例或子类,要实现__iter__(),可对数据样例进行迭代。
使用iter(dataset)能返回因读取数据库,远程服务器,实时产生的日志而产生的数据