加快Pytorch训练速度

num_workers

• num_worker=0表示只用主进程读取数据， num_worker=4/8表明使用额外的4/8子进程读取数据
• 一般来说，增大num_worker可以增加GPU的利用率，从而加快训练的速度。
• 但是有时候即使增大num_worker也无法提高GPU利用率，这是因为训练的瓶颈在IO

多个小文件->单个大文件

• 使用hdf5文件：缺点是需要全部读入内存
• 使用lmdb文件
  pytorch tricks合集
  Efficient pytorch