參考鏈接：https://blog.csdn.net/qq_32998593/article/details/92849585
總結一下，第一是增加batch size，增加GPU的內存占用率，盡量用完內存，而不要剩一半，空的內存給另外的程序用，兩個任務的效率都會非常低。
第二，在數據加載時候，將num_workers線程數設置稍微大一點，推薦是8,16等，且開啟pin_memory=True。，直接映射數據到GPU的專用內存，減少數據傳輸時間。
GPU和CPU的數據瓶頸得到解決。整體性能得到權衡。不要將整個任務放在主進程里面做，這樣消耗CPU，且速度和性能極為低下。