[開發技巧]·TensorFlow&Keras GPU使用技巧

​

1.問題描述

在使用TensorFlow&Keras通過GPU進行加速訓練時，有時在訓練一個任務的時候需要去測試結果，或者是需要並行訓練數據的時候就會顯示OOM顯存容量不足的錯誤。以下簡稱在訓練一個任務的時候需要去測試結果，或者是需要並行訓練數據為進行新的運算任務。

首先介紹下TensorFlow&Keras GPU使用的機制：TensorFlow&Keras會在有GPU可以使用時，自動將數據與運算放到GPU進行訓練（這個不同於MXNet與PyTorch處理方式不同，MXNet與PyTorch需要手動編程去指定數據與運算的Device，這里不討論這些方法之間的優劣，選擇適合自己的就好了），默認充滿GPU所有顯存。 

所以當用戶在運行一個運算任務時會占據所有顯存，如果再去開啟一個新任務就會內存不足，引起OOM顯存容量不足的錯誤。

 

2.問題分析

通過對上述問題解讀，應該可以通過以下的方法解決：

1. 當一個訓練任務默認占據所有GPU顯存的時候，可以使用CPU進行新的任務（這顯然不是最優方法，使用CPU進行新的任務速度會很慢）
2. 當一個訓練任務默認占據所有GPU顯存的時候，用戶可以設定此任務占用的GPU顯存大小，現在再使用GPU進行新的任務時，就可以並行運行了
3. 如果有多個GPU可以默認指定任務在不同GPU上。

 

3.使用教程

 

1.解決方法一：使用CPU進行新的任務

這不是最優方法，使用CPU進行新的任務速度會很慢，但是也是一種解決方式

import os

os.environ['CUDA_VISIBLE_DEVICES'] = '-1'  

# 打印 TF 可用的 GPU
print(os.environ['CUDA_VISIBLE_DEVICES'])

# -1 表示不使用GPU

2.解決方法二：設定任務占用的GPU顯存大小

這個是筆者比較推薦的方式，由於TensorFlow&Keras運行一個運算任務時會占據所有顯存，其實有時並沒有用到那么多。

這樣做也會有點小問題就是，單個任務會變慢一點，筆者測試結果是在使用上述方法並行運行兩個單個任務速度變為0.8左右，但是換來了可以運行兩個任務，還是很值得的。（推測變慢的原因是兩個任務並行運算時，對GPU壓力更大，每個任務上分配的性能就會降低，類似於在電腦上跑多個任務，電腦會卡頓）

這樣做要注意一點，在分配顯存空間后，模型訓練占據的內存要設置好（這個是指實際占用內存，可以通過修改batch_size來控制），不要超出你所分配的大小，不然會有不期望的結果出現。

import tensorflow as tf

# 在開啟對話session前，先創建一個 tf.ConfigProto() 實例對象

gpuConfig = tf.ConfigProto(allow_soft_placement=True)

# 限制一個進程使用 60% 的顯存
gpuConfig.gpu_options.per_process_gpu_memory_fraction = 0.6

# 把你的配置部署到session  變量名 sess 無所謂
sess1 =tf.Session(config=gpuConfig)


#這樣，如果你指定的卡的顯存是2000M的話，你這個進程只能用1200M。

輸出結果（with 1228 MB memory，代表使用1228 MB，這與設置的0.6 * 2000相符）

Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 1228 MB memory) -> 
physical GPU (device: 0, name: GeForce MX150, pci bus id: 0000:01:00.0, compute capability: 6.1)

3.解決方法三：多個GPU指定在不同GPU運行

 

如果條件允許，擁有多個，就可以把不同任務放置在不同GPU上，要注意如果是和同事共用，要約定好如何分配，免得大家都用了同一個。

設置方法與方法一類似。-1代表不使用，0代表第一個，1代表第二個

以兩個GPU舉例，第一個任務開頭可以使用如下，第二個任務就把0改為1，多個GPU方法類似。注意一點要放置在開頭位置。

import os

os.environ['CUDA_VISIBLE_DEVICES'] = '0' 

# 打印 TF 可用的 GPU
print(os.environ['CUDA_VISIBLE_DEVICES'])

# -1 表示不使用GPU 0代表第一個

如果多於兩個GPU，想在某個任務設置多個GPU，可以使用下述方法

import os

os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' 

# 打印 TF 可用的 GPU
print(os.environ['CUDA_VISIBLE_DEVICES'])

# -1 表示不使用GPU 0代表第一個

最后留個大家一個思考問題，os.environ['CUDA_VISIBLE_DEVICES'] = '-1,0' 時會怎么樣調用？

歡迎大家在評論區留言發布自己看法和解讀。。

 

4.參考

1.https://www.cnblogs.com/tectal/p/9048184.html