這篇文章詳細介紹在centOS7.5上搭建基於keras/tensorflow的深度學習環境,該環境可用於實際生產。本人現在非常熟練linux(Ubuntu/centOS/openSUSE)、windows上該環境的搭建 :)
前面三篇博客代碼實現均基於該環境(開發或者測試過):
[AI開發]Python+Tensorflow打造自己的計算機視覺API服務
運行環境
1) centOS 7.5 ,不要安裝GUI桌面;
2) i7八核,GTX 1080 GPU,16G內存。
程序包
1) Python-3.6.5.tgz (Python安裝包)
2) screen-4.6.0.tar.gz (screen安裝包,忽略系統自帶的)
3) tensorflow_gpu-1.9.0-cp36-cp36m-manylinux1_x86_64.whl (tensorflow安裝包)
4) cuda_9.0.176_384.81_linux.run (cuda安裝包)
5) cudnn-9.0-linux-x64-v7.1.tgz (cudnn解壓包)
6) NVIDIA-Linux-x86_64-384.130.run (nvidia顯卡驅動)
常用鏈接:
https://developer.nvidia.com/cuda-90-download-archive (cuda)
https://developer.nvidia.com/rdp/cudnn-archive (cudnn)
https://www.geforce.cn/drivers/results/132524 (顯卡驅動)
安裝步驟
**安裝過程中,設備需要連外網,有一些組件需要在線安裝**
>第一步 安裝基礎庫
在命令行終端執行下面三個命令:
sudo yum install openssl-devel -y
sudo yum install bzip2-devel
sudo yum install zlib-devel -y
保證上面三個庫安裝成功,如果提示已經安裝,則忽略。
>第二步 安裝python3.6.5
在程序包目錄中執行:tar -zvxf Python-3.6.5.tgz,解壓Python安裝文件;
cd Python-3.6.5進入解壓目錄;
執行mkdir /usr/python3.6 創建目錄;
運行 ./configure --prefix=/usr/python3.6 --enable-shared ,等待;
執行 make 命令,等待;
執行 make install 命令,等待;
執行 ln -s /usr/python3.6/bin/python3 /usr/bin/python3 創建軟連接(如果提示已存在,先刪除);
執行 python3 --version,查看輸出,如果輸出python對應的版本號為 3.6.5,則安裝成功。
注意:
如果碰到錯誤信息類似這樣 :error while loading shared libraries: xxxxxxxx: cannot open shared object file: No such file or directory(xxxx為文件名)
那么,進入安裝文件夾的lib目錄下,找到XXXXXXXX,將其拷貝到/usr/local/lib
cp XXXXXX /usr/local/lib
vi /etc/ld.so.conf
在文件末尾新增加一行 /usr/local/lib
然后執行 ldconfig 命令。
再執行 python3 --version 檢查輸出的版本號是否為 3.6.5。
>第三步 配置pip3
執行ln -s /usr/python3.6/bin/pip3 /usr/bin/pip3 創建軟連接(如果提示已存在,先刪除);
執行 pip3 --version 查看pip3的版本號,如果正確輸出版本號,則表示pip3安裝成功;
cd ~,進入到用戶根目錄,執行mkdir .pip創建.pip目錄,cd到該目錄;
執行 vi pip.conf 創建文件;
在文件中輸入:
[global]
trusted-host=mirrors.aliyun.com
index-url=http://mirrors.aliyun.com/pypi/simple/
保存退出。
>第四步 安裝tensorflow/keras等相關依賴組件
在程序包目錄下
執行 pip3 install tensorflow_gpu-1.9.0-cp36-cp36m-manylinux1_x86_64.whl,安裝tensorflow等相關依賴組件(一些組件需要聯網);
執行 pip3 install keras ,安裝keras等相關依賴組件(需要聯網);
執行 pip3 install Pillow,安裝Pillow(需要聯網);
執行 pip3 install matplotlib,安裝matplotlib(需要聯網);
>第五步 安裝cuda
在程序包目錄下
===============================安裝cuda前必讀============================
注意:
1)安裝開始,會顯示一大段license,在顯示license到1%的時候,按q結束,不然會一直讓你讀完;
2)除了在“是否安裝graphics driver”的步驟選擇No之外,其余都選Yes;
3)cuda以及sample的安裝路徑都保持默認不變(直接回車即可)。
=====================================================================
執行sh ./cuda_9.0.176_384.81_linux.run ,按照提示完成cuda的安裝;
執行 vi ~/.bash_profile,打開文件;
在文件末尾增加:
export PATH=/usr/local/cuda-9.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64:$LD_LIBRARY_PATH
保存退出。
執行 source ~/.bash_profile,使文件生效;
執行 nvcc --version 查看cuda是否安裝成功,如果正常輸出信息,則表示安裝成功。
>第六步 安裝cudnn
在程序包目錄下
執行 tar -zvxf cudnn-9.0-linux-x64-v7.1.tgz ,解壓文件;
cd cuda 進入到解壓目錄;
執行
cp lib64/lib* /usr/local/cuda/lib64/
cp include/cudnn.h /usr/local/cuda/include/
拷貝文件;
執行
cd /usr/local/cuda/lib64/
chmod +r libcudnn.so.7.1.4
ln -sf libcudnn.so.7.1.4 libcudnn.so.7
ln -sf libcudnn.so.7 libcudnn.so
ldconfig
**cudnn是cuda在深度學習中的一個擴展,只需要拷貝.h和lib到cuda的安裝目錄即可**
>第七步 安裝Nvidia顯卡驅動
在程序包目錄下
執行 sh ./NVIDIA-Linux-x86_64-384.130.run,等待安裝結束;
執行 nvidia-smi 查看顯卡信息,如果能正常顯示GPU驅動和其他信息,表明顯卡驅動安裝成功。
>第八步 驗證Python算法環境
在python腳本目錄下
執行 python3 test.py,如果不報錯,並且有模型數據顯示出來,說明算法環境部署成功。