最近在看小樣本方面的論文,發現這個mini_imagenet這個數據集比較常用,但是卻不好找,找了半天也沒有找到,最后在找到了這樣的答案:
小樣本學習(Few shot learning)標准數據集(miniImageNet、tieredImageNet、Fewshot-CIFAR100)下載地址
順着這個線索我又找到了一個miniImageNet數據集生成的工具:
https://gitee.com/devilmaycry812839668/mini-imagenet-tools
讀了讀這個代碼,感覺雖然代碼質量一般但是可以使用,為了節省時間也就使用這個代碼好了。
個人使用的數據生成命令:
python mini_imagenet_generator.py --tar_dir ~/ILSVRC2012/ILSVRC2012_img_train.tar
更多命令參考項目頁面。
通過這個代碼才知道原來 miniImageNet的數據集是在ImageNet數據集的基礎上進行划分的,換句話說miniImageNet數據集是ImageNet數據集的子集。如果自己想要從頭獲得這個miniImageNet數據集需要先下載ImageNet數據集,ImageNet數據集的下載方式前文已介紹。
miniImageNet數據集是在ImageNet數據集(ILSVRC2012_img_train.tar)基礎上提取出100個類:
['n02110341', 'n01930112', 'n04509417', 'n04067472', 'n04515003', 'n02120079', 'n03924679', 'n02687172', 'n03075370', 'n07747607', 'n09246464', 'n02457408', 'n04418357', 'n03535780', 'n04435653', 'n03207743', 'n04251144', 'n03062245', 'n02174001', 'n07613480', 'n03998194', 'n02074367', 'n04146614', 'n04243546', 'n03854065', 'n03838899', 'n02871525', 'n03544143', 'n02108089', 'n13133613', 'n03676483', 'n03337140', 'n03272010', 'n01770081', 'n09256479', 'n02091244', 'n02116738', 'n04275548', 'n03773504', 'n02606052', 'n03146219', 'n04149813', 'n07697537', 'n02823428', 'n02089867', 'n03017168', 'n01704323', 'n01532829', 'n03047690', 'n03775546', 'n01843383', 'n02971356', 'n13054560', 'n02108551', 'n02101006', 'n03417042', 'n04612504', 'n01558993', 'n04522168', 'n02795169', 'n06794110', 'n01855672', 'n04258138', 'n02110063', 'n07584110', 'n02091831', 'n03584254', 'n03888605', 'n02113712', 'n03980874', 'n02219486', 'n02138441', 'n02165456', 'n02108915', 'n03770439', 'n01981276', 'n03220513', 'n02099601', 'n02747177', 'n01749939', 'n03476684', 'n02105505', 'n02950826', 'n04389033', 'n03347037', 'n02966193', 'n03127925', 'n03400231', 'n04296562', 'n03527444', 'n04443257', 'n02443484', 'n02114548', 'n04604644', 'n01910747', 'n04596742', 'n02111277', 'n03908618', 'n02129165', 'n02981792']
然后再對這100個類中的數據進行划分,分別划分為train、 test、 val 部分:
現在比較常用的兩種划分:https://gitee.com/devilmaycry812839668/mini-imagenet-tools/tree/main/mini_imagenet_split
該工具默認使用 Ravi 的划分。
train划分為64個類,
test 划分為20個類:
val 划分為16個類:
默認 miniImageNet數據集是對ImageNet數據集中的圖片進行了84x84的resize操作的。
==================================================
運行 mini_imagenet_generator.py 文件后文件夾內容如下:
其中 imagenet mini_imagenet 均為中間過程文件夾, processed_images 為最終數據集文件夾。
=================================================
gitee 下載地址:
https://gitee.com/devilmaycry812839668/mini-imagenet-tools
github 下載地址:
https://github.com/yaoyao-liu/mini-imagenet-tools
=================================================