BERT初體驗:谷歌開源bert環境配置(Win10)


本篇內容:配置好谷歌開源bert運行環境。開源地址:https://github.com/google-research/bert

關於BERT的介紹就不多說了,直接看我們將配置的環境:

  • tensorflow_gpu 1.11.0
  • CUDA 9
  • cudnn 7
  • python 3.6

注意,這些環境都是一一對應的,不能亂下。如果想下載其他版本,附上對照表鏈接:https://blog.csdn.net/qq_27825451/article/details/89082978

配置好后,就可以運行google-bert模型了,當然要跑起來還需要設置參數什么的,這部分之后再說。

注意:tensorflow_gpu版本需要你的電腦有NVIDIA GPU,否則只能跑tensorflow_cpu版本。選擇GPU版本,當然是因為用空閑的GPU能提高模型的運行速度了。

滿足這上面的所有要求,就可以往下繼續了,很快啊。

一、安裝CUDA和cudnn

從官網下載的話太慢了。我在網上找到了網盤下載渠道。直接放博客鏈接:https://blog.csdn.net/weixin_44240118/article/details/104545166

1、安裝CUDA的坑

下載完CUDA后是一個可執行文件,雙擊進入安裝界面。需要注意:在安裝時,選擇自定義安裝,並且取消勾選Visual Studio。見下圖(搬運的他人博客圖)

2、安裝cudnn

下載完cudnn后解壓,這只是一個文件,文件內容如下:

復制這些文件,粘貼到CUDA的安裝目錄下(文件不會被替換,全都是新添加)。弄好后,CUDA安裝目錄下應該是這個樣子:

3、添加系統環境變量

在安裝CUDA的時候,系統環境變量都被自動添加了。但是還有一個需要我們手動添加,如下圖:

照着你們自己的環境變量,很容易就能知道怎么添加了吧。這里有一點這三個環境變量都要放在最上面,是否必須這么做我不知道,但是放在最上面總沒錯。

二、Anaconda安裝

這里只要用Anaconda就很方便了。在官網下載好像也挺快的(也可以去清華鏡像下載:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ ),下載網址:https://www.anaconda.com/products/individual#Downloads

選擇win10 64位版本就是常識了。注意安裝時要選上添加到環境變量

下面的操作一氣呵成(打開win10命令行):

  • 為了解決conda的install太慢的問題,執行如下語句(一勞永逸):
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
  • 在命令行輸入:conda create -n tensorflow_gpu python=3.6。中間會有讓你確認的選項,輸入y就行了。
  • 激活環境:activate tensorflow_gpu。激活后,在當前目錄前會顯示(tensorflow)字樣,就像:(tensorflow_gpu) C:\Users\w>。之后我們跑bert模型時,每次都要激活一下。
  • 安裝必要的庫(我不知道這一步是否必須,但是執行總是沒壞事):conda install anaconda
  • 執行:conda install tensorflow-gpu
  • 下載對應版本的tensorflow_gpu:pip install tensorflow-gpu=1.11.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

三、驗證

啊,很快啊,我們就把環境配置好了。現在驗證一下我們的tensorflow_gpu能不能跑起來。

命令行輸入下列命令:

>> activate tensorflow_gpu
>> python
>>> import tensorflow as tf
>>> hello1 = tf.constant('hello, tensorflow!')
>>> session = tf.Session()
>>> print(session.run(hello1))

如果看到了輸出b'hello, tensorflow!'說明配置成功。
在import tensorflow時可能會有一些Waring跑出來,上網自己查查很快就解決了。

四、瑣碎

  • 如果發現安裝了錯誤版本的tensorflow,執行pip uninstall tensorflow_gpu重新安裝就可以了。
  • 安裝過程如果發現太慢,找一下有沒有鏡像!!
  • 如果下了多版本python,一定要注意pip指令的使用!不同的python版本對應不同的tensorflow,多個pip添加到環境變量中的話,系統只會找第一個。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM