本篇內容:配置好谷歌開源bert運行環境。開源地址:https://github.com/google-research/bert
關於BERT的介紹就不多說了,直接看我們將配置的環境:
- tensorflow_gpu 1.11.0
- CUDA 9
- cudnn 7
- python 3.6
注意,這些環境都是一一對應的,不能亂下。如果想下載其他版本,附上對照表鏈接:https://blog.csdn.net/qq_27825451/article/details/89082978
配置好后,就可以運行google-bert模型了,當然要跑起來還需要設置參數什么的,這部分之后再說。
注意:tensorflow_gpu版本需要你的電腦有NVIDIA GPU,否則只能跑tensorflow_cpu版本。選擇GPU版本,當然是因為用空閑的GPU能提高模型的運行速度了。
滿足這上面的所有要求,就可以往下繼續了,很快啊。
一、安裝CUDA和cudnn
從官網下載的話太慢了。我在網上找到了網盤下載渠道。直接放博客鏈接:https://blog.csdn.net/weixin_44240118/article/details/104545166
1、安裝CUDA的坑
下載完CUDA后是一個可執行文件,雙擊進入安裝界面。需要注意:在安裝時,選擇自定義安裝,並且取消勾選Visual Studio。見下圖(搬運的他人博客圖)
2、安裝cudnn
下載完cudnn后解壓,這只是一個文件,文件內容如下:
復制這些文件,粘貼到CUDA的安裝目錄下(文件不會被替換,全都是新添加)。弄好后,CUDA安裝目錄下應該是這個樣子:
3、添加系統環境變量
在安裝CUDA的時候,系統環境變量都被自動添加了。但是還有一個需要我們手動添加,如下圖:
照着你們自己的環境變量,很容易就能知道怎么添加了吧。這里有一點這三個環境變量都要放在最上面,是否必須這么做我不知道,但是放在最上面總沒錯。
二、Anaconda安裝
這里只要用Anaconda就很方便了。在官網下載好像也挺快的(也可以去清華鏡像下載:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ ),下載網址:https://www.anaconda.com/products/individual#Downloads
選擇win10 64位版本就是常識了。注意安裝時要選上添加到環境變量。
下面的操作一氣呵成(打開win10命令行):
- 為了解決conda的install太慢的問題,執行如下語句(一勞永逸):
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
- 在命令行輸入:
conda create -n tensorflow_gpu python=3.6
。中間會有讓你確認的選項,輸入y
就行了。 - 激活環境:
activate tensorflow_gpu
。激活后,在當前目錄前會顯示(tensorflow)字樣,就像:(tensorflow_gpu) C:\Users\w>
。之后我們跑bert模型時,每次都要激活一下。 - 安裝必要的庫(我不知道這一步是否必須,但是執行總是沒壞事):
conda install anaconda
- 執行:
conda install tensorflow-gpu
- 下載對應版本的tensorflow_gpu:
pip install tensorflow-gpu=1.11.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
三、驗證
啊,很快啊,我們就把環境配置好了。現在驗證一下我們的tensorflow_gpu能不能跑起來。
命令行輸入下列命令:
>> activate tensorflow_gpu
>> python
>>> import tensorflow as tf
>>> hello1 = tf.constant('hello, tensorflow!')
>>> session = tf.Session()
>>> print(session.run(hello1))
如果看到了輸出b'hello, tensorflow!'
說明配置成功。
在import tensorflow時可能會有一些Waring跑出來,上網自己查查很快就解決了。
四、瑣碎
- 如果發現安裝了錯誤版本的tensorflow,執行
pip uninstall tensorflow_gpu
重新安裝就可以了。 - 安裝過程如果發現太慢,找一下有沒有鏡像!!
- 如果下了多版本python,一定要注意pip指令的使用!不同的python版本對應不同的tensorflow,多個pip添加到環境變量中的話,系統只會找第一個。