深度學習PyTorch，TensorFlow中GPU利用率較低，CPU利用率很低，且模型訓練速度很慢的問題總結與分析

第一是增加batch size，增加GPU的內存占用率，盡量用完內存，而不要剩一半，空的內存給另外的程序用，兩個任務的效率都會非常低。

第二，在數據加載時候，將num_workers線程數設置稍微大一點，推薦是8,16等，且開啟pin_memory=True。不要將整個任務放在主進程里面做，這樣消耗CPU，且速度和性能極為低下。