最近在研究Tensorflow Serving生產環境部署，尤其是在做服務器GPU環境部署時，遇到了不少坑。特意總結一下，當做前車之鑒。
1 系統背景
系統是ubuntu16.04
ubuntu@ubuntu:/usr/bin$ cat /etc/issue
Ubuntu 16.04.5 LTS \n \l
或者
ubuntu@ubuntu:/usr/bin$ uname -m && cat /etc/*release
x86_64
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=16.04
DISTRIB_CODENAME=xenial
DISTRIB_DESCRIPTION="Ubuntu 16.04.5 LTS"
NAME="Ubuntu"
VERSION="16.04.5 LTS (Xenial Xerus)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 16.04.5 LTS"
VERSION_ID="16.04"
HOME_URL="http://www.ubuntu.com/"
SUPPORT_URL="http://help.ubuntu.com/"
BUG_REPORT_URL="http://bugs.launchpad.net/ubuntu/"
VERSION_CODENAME=xenial
UBUNTU_CODENAME=xenial
顯卡是Tesla的P40
ubuntu@ubuntu:~$ nvidia-smi
Thu Jan 3 16:53:36 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.130 Driver Version: 384.130 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla P40 Off | 00000000:3B:00.0 Off | 0 |
| N/A 34C P0 49W / 250W | 22152MiB / 22912MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 108329 C python 4963MiB |
| 0 133840 C tensorflow_model_server 17179MiB |
+-----------------------------------------------------------------------------+
TensorFlow則是當下最新的1.12.0版本。
2 背景知識
在介紹如何部署之前，先來了解一下相關的概念。
2.1 TensorFlow Serving
參考資料
TensorFlow Serving是google提供的一種生產環境部署方案，一般來說在做算法訓練后，都會導出一個模型，在應用中直接使用。
正常的思路是在flask這種web服務中嵌入tensorflow的模型，提供rest api的雲服務接口。考慮到並發高可用性，一般會采取多進程的部署方式，即一台雲服務器上同時部署多個flask，每個進程獨享一部分GPU資源，顯然這樣是很浪費資源的。
Google提供了一種生產環境的新思路，他們開發了一個tensorflow-serving的服務，可以自動加載某個路徑下的所有模型，模型通過事先定義的輸入輸出和計算圖，直接提供rpc或者rest的服務。
- 一方面，支持多版本的熱部署（比如當前生產環境部署的是1版本的模型，訓練完成后生成一個2版本的模型，tensorflow會自動加載這個模型，停掉之前的模型）。
- 另一方面，tensorflow serving內部通過異步調用的方式，實現高可用，並且自動組織輸入以批次調用的方式節省GPU計算資源。
因此，整個模型的調用方式就變成了：
客戶端 ----> web服務(flask或者tornado) --grpc或者rest--> tensorflow serving
如果我們想要替換模型或者更新版本，只需要訓練模型並將訓練結果保存到固定的目錄下就可以了。
2.2 Docker
參考資料：
docker簡單來說就是一種容器技術，如果有做過技術支持的朋友肯定了解安裝軟件的痛苦——各種系統環境，導致各種安裝報錯...docker解決的問題就是，只要你再服務器上安裝上docker，那么它會自動屏蔽所有的硬件信息，拉取一個鏡像，就能直接啟動提供服務。
搭建docker也很簡單，如果是mac直接下載dmg文件就可以雙擊運行；如果是ubuntu直接運行
sudo apt-get install docker
不過Ubuntu安裝后只能通過root使用，如果想讓其他用戶使用，需要調整docker組，細節百度一下即可。
常用的命令也比較少：
# 查看當前部署的服務
docker ps
# 運行一個容器服務
docker run
# 刪除一個服務
docker kill xxx
2.3 Nvidia-docker
參考資料：
因為docker是虛擬在操作系統之上的，屏蔽了很多底層的信息。如果想使用顯卡這種硬件，一種思路是docker直接把操作系統上的驅動程序和算法庫映射到容器內，但是這樣就喪失了可移植性。
另一種方法就是在docker啟動的時候掛載一個類似驅動的插件——這就是nvidia-docker的作用。
總的來說，如果想要在docker中使用tensorflow-gpu，需要首先安裝docker-ce（社區版，其他版本nvidia-docker不一定支持），然后安裝nvidia-container-runtime，最后安裝nvidia-docker2。
當使用的時候，需要直接指定nvidia-docker2運行, 如：
sudo nvidia-docker run -p 8500:8500 --mount type=bind,source=/home/ubuntu/data/east_serving/east_serving,target=/models/east -e MODEL_NAME=east -t tensorflow/serving:1.12.0-gpu &
3 部署實戰
下面就進入部署的實戰篇了：
3.1 Docker\Nvidia-Docker、Tensorflow部署
主要參考：
首先安裝docker-ce：
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-key fingerprint 0EBFCD88
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install docker-ce
sudo service docker restart
如果之前安裝了nvidia-docker1需要刪除掉：
docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f
sudo apt-get purge -y nvidia-docker
修改docker的鏡像地址vi /etc/docker/daemon.json：
{
"registry-mirrors":["https://registry.docker-cn.com","http://hub-mirror.c.163.com"]
}
然后重啟docker配置服務systemctl restart docker.service。
更新nvidia-docker地址:
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
執行安裝命令：
sudo apt-get install -y nvidia-docker2
sudo pkill -SIGHUP dockerd
測試：
ubuntu@ubuntu:~$ sudo nvidia-docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi
Thu Jan 3 09:52:06 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.130 Driver Version: 384.130 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla P40 Off | 00000000:3B:00.0 Off | 0 |
| N/A 35C P0 49W / 250W | 22152MiB / 22912MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
+-----------------------------------------------------------------------------+
可以看到，已經能再docker內部看到顯卡的使用信息了。
在docker容器外，執行nvidia-smi可以看到有個tensorflow serving的服務
ubuntu@ubuntu:~$ nvidia-smi
Thu Jan 3 17:52:43 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.130 Driver Version: 384.130 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla P40 Off | 00000000:3B:00.0 Off | 0 |
| N/A 35C P0 49W / 250W | 22152MiB / 22912MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 108329 C python 4963MiB |
| 0 133840 C tensorflow_model_server 17179MiB |
+-----------------------------------------------------------------------------+
注意正常需要配置docker占用的顯存比例！
4 總結
搞深度學習還是需要全棧基礎的，涉及到各種linux底層動態庫、硬件、容器等等相關的知識，雖然踩了不少坑，但是很多概念性的東西都得到了實踐，這才是工作最大的意義。