Compose 項目是Docker官方的開源項目,負責實現Docker容器集群的快速編排,開源代碼在https://github.com/docker/compose 上,官方文檔:https://docs.docker.com/compose/
Dockerfile文件、images、容器等之類的,都是手動操作,且單個容器。如果涉及到微服務,比如100個微服務,微服務之間又有各種的依賴關系,那這時候就必須要使用到 docker compose 了。包括后面要學習 swarm、k8s 等都是以這個為基礎。
Compose 中有兩個重要的概念:
1、服務 service:一個應用的容器,實際上可以包括若干運行相同鏡像的容器實例,比如web、redis、mysql....
Compose 項目是由Python編寫的,實際上就是調用了Docker服務提供的API來對容器進行管理,因此,只要所在的操作系統的平台支持Docker API,就可以在其上利用Compose來進行編排管理。
一、概述
Compose 是一個用於定義和運行多容器 Docker 應用程序的工具。
通過 Compose,您可以使用 YML 文件來配置應用程序需要的所有服務。然后,使用一個命令,就可以從 YML 文件配置中創建並啟動所有服務。
Compose 使用的三個步驟:
1、使用 Dockerfile 定義應用程序的環境,以便它可以在任何地方復制
2、使用 docker-compose.yml 定義構成應用程序的服務,這樣它們可以在隔離環境中一起運行。
3、最后,執行 docker-compose up 命令來啟動並運行整個應用程序。
其作用就是:批量容器編排。
二、安裝
Compose 是 Docker官方的開源項目,需要安裝;Linux 上我們可以從 Github 上下載它的二進制包來使用,最新發行的版本地址:https://github.com/docker/compose/releases。
1、運行以下命令以下載 Docker Compose 的當前穩定版本:
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
要安裝其他版本的 Compose,請替換 1.29.2。
2、將可執行權限應用於二進制文件:
sudo chmod +x /usr/local/bin/docker-compose
3、創建軟鏈:
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
4、測試是否安裝成功:
docker-compose --version docker-compose version 1.29.2, build 1110ad01
三、創建 docker-compose.yml
1、docker-compose.yml 配置文件
# yaml 配置 version: '3' services: web: build: . ports: - "5000:5000" redis: image: "redis:alpine"
該 Compose 文件定義了兩個服務:web 和 redis。
- web:該 web 服務使用從 Dockerfile 當前目錄中構建的鏡像。然后,它將容器和主機綁定到暴露的端口 5000。
- redis:該 redis 服務使用 Docker Hub 的公共 Redis 映像。
2、使用 Compose 命令構建和運行您的應用
// 在測試目錄中,執行以下命令來啟動應用程序:
docker-compose up // 如果你想在后台執行該服務可以加上 -d 參數:
docker-compose up -d
四、yml配置規則
記住 docker-compose.yml 的配置規則:有且只有3層。
1、第一層:version: 版本,與docker引擎版本對應
2、第二層:services:服務
服務1:web(服務配置)
images
build
network
服務2:redis
......
3、第三層:其他配置 - 網絡/卷、全局規則等(volumes、networks、configs)
需要注意的是:第二層的depends_on依賴很重要,服務間的依賴關系,也就是啟動順序
配置很多,很多都是使用默認或不需要配置,具體配置可以看官網介紹。這里只介紹幾個常用的:
(1)version:指定本 yml 依從的 compose 哪個版本制定的。需要注意的是只有 3.x 以上的版本才可以使用 docker-stack 運行
(2)build:指定為構建鏡像上下文路徑:
例如 webapp 服務,指定為從上下文路徑 ./dir/Dockerfile 所構建的鏡像
version: "3.7" services: webapp: build: ./dir
(3)image:指定容器運行的 docker 鏡像,可以是遠程倉庫鏡像、本地鏡像,與上面的 build 二選一。
(4)depends_on:設置依賴關系。
docker-compose up :以依賴性順序啟動服務。在以下示例中,先啟動 db 和 redis ,才會啟動 web。 docker-compose up SERVICE :自動包含 SERVICE 的依賴項。在以下示例中,docker-compose up web 還將創建並啟動 db 和 redis。 docker-compose stop :按依賴關系順序停止服務。在以下示例中,web 在 db 和 redis 之前停止。
version: "3.7" services: web: build: . depends_on: - db - redis redis: image: redis db: image: postgres
注意:web 服務不會等待 redis db 完全啟動 之后才啟動。
(5)volumes:將主機的數據卷或着文件掛載到容器里。
volumes: - "/u01:/u01"
- "/var/run/docker.sock:/var/run/docker.sock"
五、項目使用的 docker-compose.yml 文件介紹
這是項目中使用的部分配置,我詳細注釋了一下:
version: '3.7' # 版本必須3.0及以上,否則無法使用docker-stack 運行
services: # 定義 service 信息
emcs-nginx: image: "***/nginx:test" # 使用指定的 docker 鏡像
#ports:
# - "80:80"
# - "443:443"
ports: # 建立宿主機與容器間的端口映射關系,上面是短語法寫法,下面是長語法寫法
- target: 80 # 容器端口
published: 80 # 宿主機端口
protocol: tcp # 協議類型
mode: host # host在每個節點上發布主機端口,ingress 對於集群模式端口進行負載均衡
- target: 443 published: 443 protocol: tcp mode: host volumes: # 定義容器和宿主機的數據卷映射關系
- "/u01:/u01" # 映射容器內的 /u01 到宿主機的 /u01目錄
environment: # 設置環境變量
TZ: Asia/Shanghai # 設置時區為上海
deploy: # 指定與部署和運行服務相關的配置, deploy部分是docker stack使用的, docker stack依賴docker swarm
mode: replicated # 指定模式:global每個集群節點都只有一個容器,
# replicated用戶可以指定集群中容器的數量(默認)
replicas: 1 # deploy的mode為 replicated 時, 指定容器副本的數量
update_config: # 用於配置滾動更新的配置
parallelism: 1 # 一次性更新的容器數量
delay: 10s # 更新一組容器之間的間隔10s
order: stop-first # 指定回滾期間的操作順序:stop-first舊任務在啟動新任務之前停止(默認),
# start-first首先啟動新任務, 並且正在運行的任務暫時重疊
restart_policy: # 定義容器重啟策略, 用於代替 restart 參數
condition: on-failure # 定義容器重啟策略(接受三個參數):
# none不嘗試重啟;any無論如何都會嘗試重啟(默認)
# on-failure只有當容器內部應用程序出現問題才會重啟
emcs-front: # 第二個服務
image: "***/front" volumes: - "/u01/log:/u01/log" environment: TZ: Asia/Shanghai deploy: mode: replicated replicas: 1 update_config: parallelism: 1 delay: 20s order: stop-first restart_policy: condition: on-failure
......
六、模板文件參數介紹
這是網上看到的一些配置具體介紹:
常用參數: version # 指定 compose 文件的版本
services # 定義所有的 service 信息, services 下面的第一級別的 key 既是一個 service 的名稱
build # 與image二選一,指定包含構建上下文的路徑, 或作為一個對象,該對象具有 context 和指定的 dockerfile 文件以及 args 參數值
context # context: 指定 Dockerfile 文件所在的路徑
dockerfile # dockerfile: 指定 context 指定的目錄下面的 Dockerfile 的名稱(默認為 Dockerfile)
args # args: Dockerfile 在 build 過程中需要的參數 (等同於 docker container build --build-arg 的作用)
cache_from # v3.2中新增的參數, 指定緩存的鏡像列表 (等同於 docker container build --cache_from 的作用)
labels # v3.3中新增的參數, 設置鏡像的元數據 (等同於 docker container build --labels 的作用)
shm_size # v3.5中新增的參數, 設置容器 /dev/shm 分區的大小 (等同於 docker container build --shm-size 的作用)
command # 覆蓋容器啟動后默認執行的命令, 支持 shell 格式和 [] 格式
configs # 不知道怎么用
cgroup_parent # 為容器指定父 cgroup 組,意味着將繼承該組的資源限制。
container_name # 指定容器的名稱 (等同於 docker run --name 的作用)
deploy # v3 版本以上, 指定與部署和運行服務相關的配置, deploy 部分是 docker stack 使用的, docker stack 依賴 docker swarm
endpoint_mode # v3.3 版本中新增的功能, 指定服務暴露的方式
vip # Docker 為該服務分配了一個虛擬 IP(VIP), 作為客戶端的訪問服務的地址
dnsrr # DNS輪詢, Docker 為該服務設置 DNS 條目, 使得服務名稱的 DNS 查詢返回一個 IP 地址列表, 客戶端直接訪問其中的一個地址
labels # 指定服務的標簽,這些標簽僅在服務上設置
mode # 指定 deploy 的模式
global # 每個集群節點都只有一個容器
replicated # 用戶可以指定集群中容器的數量(默認)
placement # 不知道怎么用
replicas # deploy 的 mode 為 replicated 時, 指定容器副本的數量
resources # 資源限制
limits # 設置容器的資源限制
cpus: "0.5" # 設置該容器最多只能使用 50% 的 CPU
memory: 50M # 設置該容器最多只能使用 50M 的內存空間
reservations # 設置為容器預留的系統資源(隨時可用)
cpus: "0.2" # 為該容器保留 20% 的 CPU
memory: 20M # 為該容器保留 20M 的內存空間
restart_policy # 定義容器重啟策略, 用於代替 restart 參數
condition # 定義容器重啟策略(接受三個參數)
none # 不嘗試重啟
on-failure # 只有當容器內部應用程序出現問題才會重啟
any # 無論如何都會嘗試重啟(默認)
delay # 嘗試重啟的間隔時間(默認為 0s)
max_attempts # 嘗試重啟次數(默認一直嘗試重啟)
window # 檢查重啟是否成功之前的等待時間(即如果容器啟動了, 隔多少秒之后去檢測容器是否正常, 默認 0s)
update_config # 用於配置滾動更新配置
parallelism # 一次性更新的容器數量
delay # 更新一組容器之間的間隔時間
failure_action # 定義更新失敗的策略
continue # 繼續更新
rollback # 回滾更新
pause # 暫停更新(默認)
monitor # 每次更新后的持續時間以監視更新是否失敗(單位: ns|us|ms|s|m|h) (默認為0)
max_failure_ratio # 回滾期間容忍的失敗率(默認值為0)
order # v3.4 版本中新增的參數, 回滾期間的操作順序
stop-first #舊任務在啟動新任務之前停止(默認)
start-first #首先啟動新任務, 並且正在運行的任務暫時重疊
rollback_config # v3.7 版本中新增的參數, 用於定義在 update_config 更新失敗的回滾策略
parallelism # 一次回滾的容器數, 如果設置為0, 則所有容器同時回滾
delay # 每個組回滾之間的時間間隔(默認為0)
failure_action # 定義回滾失敗的策略
continue # 繼續回滾
pause # 暫停回滾
monitor # 每次回滾任務后的持續時間以監視失敗(單位: ns|us|ms|s|m|h) (默認為0)
max_failure_ratio # 回滾期間容忍的失敗率(默認值0)
order # 回滾期間的操作順序
stop-first # 舊任務在啟動新任務之前停止(默認)
start-first # 首先啟動新任務, 並且正在運行的任務暫時重疊
注意: 支持 docker-compose up 和 docker-compose run 但不支持 docker stack deploy 的子選項 security_opt container_name devices tmpfs stop_signal links cgroup_parent network_mode external_links restart build userns_mode sysctls devices # 指定設備映射列表 (等同於 docker run --device 的作用)
depends_on # 定義容器啟動順序 (此選項解決了容器之間的依賴關系, 此選項在 v3 版本中 使用 swarm 部署時將忽略該選項)
示例: docker-compose up 以依賴順序啟動服務,下面例子中 redis 和 db 服務在 web 啟動前啟動 默認情況下使用 docker-compose up web 這樣的方式啟動 web 服務時,也會啟動 redis 和 db 兩個服務,因為在配置文件中定義了依賴關系 version: '3' services: web: build: . depends_on: - db - redis redis: image: redis db: image: postgres dns # 設置 DNS 地址(等同於 docker run --dns 的作用)
dns_search # 設置 DNS 搜索域(等同於 docker run --dns-search 的作用)
tmpfs # v2 版本以上, 掛載目錄到容器中, 作為容器的臨時文件系統(等同於 docker run --tmpfs 的作用, 在使用 swarm 部署時將忽略該選項)
entrypoint # 覆蓋容器的默認 entrypoint 指令 (等同於 docker run --entrypoint 的作用)
env_file # 從指定文件中讀取變量設置為容器中的環境變量, 可以是單個值或者一個文件列表, 如果多個文件中的變量重名則后面的變量覆蓋前面的變量, environment 的值覆蓋 env_file 的值
文件格式: RACK_ENV=development environment # 設置環境變量, environment 的值可以覆蓋 env_file 的值 (等同於 docker run --env 的作用)
expose # 暴露端口, 但是不能和宿主機建立映射關系, 類似於 Dockerfile 的 EXPOSE 指令
external_links # 連接不在 docker-compose.yml 中定義的容器或者不在 compose 管理的容器(docker run 啟動的容器, 在 v3 版本中使用 swarm 部署時將忽略該選項)
extra_hosts # 添加 host 記錄到容器中的 /etc/hosts 中 (等同於 docker run --add-host 的作用)
healthcheck # v2.1 以上版本, 定義容器健康狀態檢查, 類似於 Dockerfile 的 HEALTHCHECK 指令
test # 檢查容器檢查狀態的命令, 該選項必須是一個字符串或者列表, 第一項必須是 NONE, CMD 或 CMD-SHELL, 如果其是一個字符串則相當於 CMD-SHELL 加該字符串
NONE # 禁用容器的健康狀態檢測
CMD # test: ["CMD", "curl", "-f", "http://localhost"]
CMD-SHELL # test: ["CMD-SHELL", "curl -f http://localhost || exit 1"] 或者 test: curl -f https://localhost || exit 1
interval: 1m30s # 每次檢查之間的間隔時間
timeout: 10s # 運行命令的超時時間
retries: 3 # 重試次數
start_period: 40s # v3.4 以上新增的選項, 定義容器啟動時間間隔
disable: true # true 或 false, 表示是否禁用健康狀態檢測和 test: NONE 相同
image # 指定 docker 鏡像, 可以是遠程倉庫鏡像、本地鏡像
init # v3.7 中新增的參數, true 或 false 表示是否在容器中運行一個 init, 它接收信號並傳遞給進程
isolation # 隔離容器技術, 在 Linux 中僅支持 default 值
labels # 使用 Docker 標簽將元數據添加到容器, 與 Dockerfile 中的 LABELS 類似
links # 鏈接到其它服務中的容器, 該選項是 docker 歷史遺留的選項, 目前已被用戶自定義網絡名稱空間取代, 最終有可能被廢棄 (在使用 swarm 部署時將忽略該選項)
logging # 設置容器日志服務
driver # 指定日志記錄驅動程序, 默認 json-file (等同於 docker run --log-driver 的作用)
options # 指定日志的相關參數 (等同於 docker run --log-opt 的作用)
max-size # 設置單個日志文件的大小, 當到達這個值后會進行日志滾動操作
max-file # 日志文件保留的數量
network_mode # 指定網絡模式 (等同於 docker run --net 的作用, 在使用 swarm 部署時將忽略該選項)
networks # 將容器加入指定網絡 (等同於 docker network connect 的作用), networks 可以位於 compose 文件頂級鍵和 services 鍵的二級鍵
aliases # 同一網絡上的容器可以使用服務名稱或別名連接到其中一個服務的容器
ipv4_address # IP V4 格式
ipv6_address # IP V6 格式
示例: version: '3.7' services: test: image: nginx:1.14-alpine container_name: mynginx command: ifconfig networks: app_net: # 調用下面 networks 定義的 app_net 網絡
ipv4_address: 172.16.238.10 networks: app_net: driver: bridge ipam: driver: default config: - subnet: 172.16.238.0/24 pid: 'host' # 共享宿主機的 進程空間(PID)
ports # 建立宿主機和容器之間的端口映射關系, ports 支持兩種語法格式
SHORT 語法格式示例: - "3000" # 暴露容器的 3000 端口, 宿主機的端口由 docker 隨機映射一個沒有被占用的端口
- "3000-3005" # 暴露容器的 3000 到 3005 端口, 宿主機的端口由 docker 隨機映射沒有被占用的端口
- "8000:8000" # 容器的 8000 端口和宿主機的 8000 端口建立映射關系
- "9090-9091:8080-8081"
- "127.0.0.1:8001:8001" # 指定映射宿主機的指定地址的
- "127.0.0.1:5000-5010:5000-5010"
- "6060:6060/udp" # 指定協議
LONG 語法格式示例:(v3.2 新增的語法格式) ports: - target: 80 # 容器端口
published: 8080 # 宿主機端口
protocol: tcp # 協議類型
mode: host # host 在每個節點上發布主機端口, ingress 對於群模式端口進行負載均衡
secrets # 存儲敏感數據,例如密碼
security_opt # 為每個容器覆蓋默認的標簽 (在使用 swarm 部署時將忽略該選項)
stop_grace_period # 指定在發送了 SIGTERM 信號之后, 容器等待多少秒之后退出(默認 10s)
stop_signal # 指定停止容器發送的信號 (默認為 SIGTERM 相當於 kill PID; SIGKILL 相當於 kill -9 PID; 在使用 swarm 部署時將忽略該選項)
sysctls # 設置容器中的內核參數 (在使用 swarm 部署時將忽略該選項)
ulimits # 設置容器的 limit
userns_mode # 如果Docker守護程序配置了用戶名稱空間, 則禁用此服務的用戶名稱空間 (在使用 swarm 部署時將忽略該選項)
volumes # 定義容器和宿主機的卷映射關系, 其和 networks 一樣可以位於 services 鍵的二級鍵和 compose 頂級鍵, 如果需要跨服務間使用則在頂級鍵定義, 在 services 中引用
SHORT 語法格式示例: volumes: - /var/lib/mysql # 映射容器內的 /var/lib/mysql 到宿主機的一個隨機目錄中
- /opt/data:/var/lib/mysql # 映射容器內的 /var/lib/mysql 到宿主機的 /opt/data
- ./cache:/tmp/cache # 映射容器內的 /var/lib/mysql 到宿主機 compose 文件所在的位置
- ~/configs:/etc/configs/:ro # 映射容器宿主機的目錄到容器中去, 權限只讀
- datavolume:/var/lib/mysql # datavolume 為 volumes 頂級鍵定義的目錄, 在此處直接調用
LONG 語法格式示例:(v3.2 新增的語法格式) version: "3.2" services: web: image: nginx:alpine ports: - "80:80" volumes: - type: volume # mount 的類型, 必須是 bind、volume 或 tmpfs
source: mydata # 宿主機目錄
target: /data # 容器目錄
volume: # 配置額外的選項, 其 key 必須和 type 的值相同
nocopy: true # volume 額外的選項, 在創建卷時禁用從容器復制數據
- type: bind # volume 模式只指定容器路徑即可, 宿主機路徑隨機生成; bind 需要指定容器和數據機的映射路徑
source: ./static target: /opt/app/static read_only: true # 設置文件系統為只讀文件系統
volumes: mydata: # 定義在 volume, 可在所有服務中調用
restart # 定義容器重啟策略(在使用 swarm 部署時將忽略該選項, 在 swarm 使用 restart_policy 代替 restart)
no # 禁止自動重啟容器(默認)
always # 無論如何容器都會重啟
on-failure # 當出現 on-failure 報錯時, 容器重新啟動
其他選項: domainname, hostname, ipc, mac_address, privileged, read_only, shm_size, stdin_open, tty, user, working_dir 上面這些選項都只接受單個值和 docker run 的對應參數類似 對於值為時間的可接受的值: 2.5s 10s 1m30s 2h32m 5h34m56s 時間單位: us, ms, s, m, h 對於值為大小的可接受的值: 2b 1024kb 2048k 300m 1gb 單位: b, k, m, g 或者 kb, mb, gb networks # 定義 networks 信息
driver # 指定網絡模式, 大多數情況下, 它 bridge 於單個主機和 overlay Swarm 上
bridge # Docker 默認使用 bridge 連接單個主機上的網絡
overlay # overlay 驅動程序創建一個跨多個節點命名的網絡
host # 共享主機網絡名稱空間(等同於 docker run --net=host)
none # 等同於 docker run --net=none
driver_opts # v3.2以上版本, 傳遞給驅動程序的參數, 這些參數取決於驅動程序
attachable # driver 為 overlay 時使用, 如果設置為 true 則除了服務之外,獨立容器也可以附加到該網絡; 如果獨立容器連接到該網絡,則它可以與其他 Docker 守護進程連接到的該網絡的服務和獨立容器進行通信
ipam # 自定義 IPAM 配置. 這是一個具有多個屬性的對象, 每個屬性都是可選的
driver # IPAM 驅動程序, bridge 或者 default
config # 配置項
subnet # CIDR格式的子網,表示該網絡的網段
external # 外部網絡, 如果設置為 true 則 docker-compose up 不會嘗試創建它, 如果它不存在則引發錯誤
name # v3.5 以上版本, 為此網絡設置名稱
文件格式示例: version: "3" services: redis: image: redis:alpine ports: - "6379" networks: - frontend deploy: replicas: 2 update_config: parallelism: 2 delay: 10s restart_policy: condition: on-failure db: image: postgres:9.4 volumes: - db-data:/var/lib/postgresql/data networks: - backend deploy: placement: constraints: [node.role == manager]
配置詳解可以看這篇博客:Docker Compose配置文件詳解(V3):https://blog.csdn.net/RtxTitanV/article/details/106927920
