Docker容器監控

利用docker compose組合應用並利用scale可以快速對容器進行擴充，而docker compose啟動的服務容器都在同一台宿主機上，對於一個宿主機上運行多個容器應用時，容器的運行情況，如：CPU使用率，內存使用率，網絡狀態，磁盤空間等一系列隨時間變化的時序數據信息，都需要進行了解，因此監控是必須的。 

容器監控方案選擇

對於容器的監控方案可謂多種多樣，除了docker本身自帶的 docker stats 命令，還有Scout，Data Dog，Sysdig Cloud，Sensu Monitoring Framework，CAdvisor等都可以對容器進行監控。
通過 docker stats 命令可以很方便的看到當前宿主機上所有容器的CPU，內存，以及網絡流量等數據。但 docker stats 命令的缺點是只是統計當前宿主機的所有容器，為獲取的數據是實時的，沒有地方存儲，也沒有報警功能。

而Scout，Data Dog，Sysdig Cloud雖然都提供了教完善的服務，但是它們都是托管的服務且都是收費的，Sensu Monitoring Framework集成度較高，也免費，但是部署過於復雜，綜合考慮選擇CAdvisor做監控工具。

CAdvisor出自Google，有點是開源產品，監控指標齊全，部署方便，而且有官方的docker鏡像。缺點是集成度不高，默認只在本地保存2分鍾數據。不過，可以加上InfluxDB存儲數據，對接Grafana展示圖表，比較便利搭建容器監控系統，數據收集和圖表展示效果良好，對系統性能也幾乎沒什么影響。

CAdvisor + InfluxDB + Grafana搭建容器監控系統

CAdvisor

CAdvisor是一個容器資源監控工具，包括容器的內存，CPU，網絡IO，磁盤IO等，同時提供了一個WEB頁面用於查看容器的實時運行狀態。CAdvisor默認存儲2分鍾的數據，而且只是針對單物理機，不過，CAdvisor提供了很多數據集成接口，支持InfluxDB，Redis，Kafka，Elasticsearch等集成，可以加上對應配置將監控數據發往這些數據庫存儲起來。
CAdvisor功能主要有兩點，展示Host，容器兩個層次的監控數據和展示歷史變化

InfluxDB

InfluxDB是用Go語言編寫的一個開源分布式時序，事件和指標數據庫，無需外部依賴。
由於CAdvisor默認只在本地保存最近2分鍾的數據，為了持久化數據和統一收集展示監控數據，需要將數據存儲到InfluxDB中。InfluxDB是一個時序數據庫，專門用於存儲時序相關數據，很適合存儲CAdvisor數據，而且CAdvisor本身提供了InfluxDB集成的方法，在啟動容器時指定配置即可。

InfluxDB主要功能：

• 基於時間序列，支持與時間有關的相關函數
• 可度量性，可以實時對大量數據進行計算
• 基於事件，支持任意的事件數據

InfluxDB主要特點：

• 無結構
• 可以是任意數量的列
• 可拓展
• 支持min，max等一系列的函數，方便統計
• 原生的HTTP支持，內置HTTP API
• 強大的類SQL語法

Granfana

Grafana是一個開源的數據監控分析可視化平台，支持多種數據源配置（如InfluxDB，MySQL，Elasticserach，OpenTSDB，Graphite等）和豐富的插件及模板功能，支持圖表權限控制和報警。

Grafana主要特點

• 靈活豐富的圖形化選項
• 可以混合多種風格
• 支持白天和夜間模式
• 多數據源

CAdvisor負責收集容器隨時間變化的數據
InfluxDB負責存儲時序數據
Grafana負責分析和展示時序數據

安裝部署

部署InfluxDB服務

啟動InfluxDB的服務容器：

docker run -d --name influxdb -p 8086:8086 \
-v /data/influxdb:/var/lib/influxdb \
--hostname influexdb \
influxdb

在容器中創建test數據庫和root用戶

docker exec -it influxdb influx

> CREATE DATABASE "test"
> CREATE USER "root" WITH PASSWORD 'root' WITH ALL PRIVILEGES

部署CAdvisor

啟動CAdvisor的服務容器：

docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  google/cadvisor:latest \
  -storage_driver=influxdb \
  -storage_driver_host=influxdb:8086 \
  -storage_driver_db=test \
  -storage_driver_user=root \
  -storage_driver_password=root

服務容器起來后可通過瀏覽器訪問 http:///ip:8080

部署Grafana

啟動Grafana服務容器:

docker run -d -p 3000:3000 \
-v /data/grafana:/var/lib/grafana \
--link=influxdb:influxdb \
--name grafana grafana/grafana

直接運行該命令后有可能會發現容器並沒有啟起來，通過 docker logs 命令會發現”mkdir: can’t create directory ‘/var/lib/grafana/plugins’: Permission denied“的錯誤，其實就是沒有 數據卷對應的主機上 /data/grafana 的權限，可以在運行啟動命令前先創建 /data/grafana 目錄並給定權限777，或者通過”docker run —entrypoint “id” grafana/grafana“ 查看uid,gid,groups （默認為472），然后通過”chown -R 472:472 /data/grafana“修改權限。

Grafana正常啟動后就可以 http://ip:3000 訪問，出現以下的登錄頁面，初次訪問需要修改密碼，默認用戶名密碼為：admin/admin

Docker Compose集成部署

准備docker-compose.yml文件

version: '3.1'
volumes:
  grafana_data: {}
services:
  influxdb:
    image: influxdb
    restart: always
    environment:
      - PRE_CREATE_DB=cadvisor
    ports:
      - "8086:8086"
    expose:
      - "8090"
      - "8099"
    volumes:
      - ./data/influxdb:/data
  cadvisor:
    image: google/cadvisor
    links:
      - influxdb:influxdb-host
    command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxdb-host:8086
    restart: always
    ports:
      - "8080:8080"
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:rw
      - /sys:/sys:ro
      - /var/lib/docker:/var/lib/docker:ro
  grafana:
    user: "104"
    image: grafana/grafana
    restart: always
    links:
      - influxdb:influxdb-host
    ports:
      - "3000:3000"
    volumes:
      - grafana_data:/var/lib/data
    environment:
      - HTTP_USER=admin
      - HTTP_PASS=admin
      - INFLUXDB_HOST=influxdb-host
      - INFLUXDB_PORT=8086
      - INFLUXDB_NAME=cadvisor
      - INFLUXDB_USER=root
      - INFLUXDB_PASS=root

在docker-compose.yml文件目錄運行以下命令啟動服務：

docker-compose up -d

-d指定在后台啟動，初次啟動可以不加可以在控制台查看啟動日志，當然后台啟動也可以通過“docker-compose logs”進行查看啟動日志。

服務正常啟動后就可以 http://ip:3000 訪問Granafa，在Home Dashboard頁面點擊添加data source

配置InfluxDB連接信息，當然在配置連接信息前需要進入InfluxDB容器創建相應的cadvisor數據庫和用戶root/root

在容器中創建cadvisor數據庫和root用戶

docker exec -it influxdb-contianer-id influx

> CREATE DATABASE "cadvisor"
> CREATE USER "root" WITH PASSWORD 'root' WITH ALL PRIVILEGES

配置連接InfluxDB連接：

數據源配好之后可以回到Home Dashboard添加添加dashboard圖表展示監控信息，Grafana提供了豐富的圖片模板對監控數據進行展示。

添加dashboard：


可選模板：

編輯圖表：

配置監控cadvisor容器的內存使用情況的圖表展示，配置好之后點擊保存就可以了。

​