現象:用pycharm做深度學習, 越用越慢,而且很容易內存溢出,隨着使用次數增加,pyCharm索引時間越來越長
1)程序代碼並沒有激增,程序還沒跑起來,就占用電腦大量內存;
2)右鍵查看函數,跳轉等涉及索引操作非常慢;
3)跑網上示例程序,下載的代碼文件並不大。但是指定的圖像數據下載路徑,為項目路徑;
4)查不到跟我相似問題。
解決過程:
因為,代碼量沒劇增。只有圖片數據在增長。於是將圖片數據更改到項目外的文件夾,並且程序調用圖像數據路徑都更改為項目外文件夾。
更改后
內存占用從5G還不能滿足-》600M;索引速度從2個小時還不能滿足降低到十幾秒。 恢復正常狀態。
成因解析:
最初原因:1)方便代碼索引數據,所以代碼里面使用相對路徑。因此,數據直接放置在目錄下。剛開始研究深度學習,數據都比較小。隨着學習深入,數據規模越來越大,比如變分生成網絡(DCGAN)。原始數據200M,但是中間生成的訓練圖片達到12G。2)pycharm會默認將項目數據都遍歷,期間內存會增加,檢索時間根據項目大小改變。
-----------------------------------------------
最終解決辦法:將除代碼庫之外數據全部遷移出項目。避免pycharm對圖片數據進行索引,費時且無用。
----------------------------------------------
將數據遷移出去是個辦法。但是拷貝代碼等情況,會使得代碼遷移麻煩。所以,網上還有一段被忽略信息:“將不想索引的文件夾設置為Excluded Folders即可”,設置為不索引。