一台宿主機可以放多個容器,默認的情況下,
Docker
沒有對容器進行硬件資源的限制,當容器負載過高時會盡可能的占用宿主機資源,所以有時候我們需要對容器的資源使用設置一個上限,今天我們就來看看如何管理 Docker 使用的資源。真正可以控制的只有內存和CPU
查看宿主機資源使用情況
Docker 使用 cgroups
歸類運行在容器中的進程,這就使得我們可以管理一組進程使用的資源。運行 systemd-cgls
命令 就可以查看 cgroups
樹 :
├─1 /usr/lib/systemd/systemd --switched-root --system --deserialize 22
├─docker
│ ├─93d5ecbdf58ff840f737c41adff9d0f9506aac036a1fd2f0c3f31edf696ce7f1
│ │ ├─24291 mysqld
│ │ ├─29404 bash
│ │ └─29480 mysql -uroot -px xxxx
│ ├─b1f53779101af8778ba8e8dfd0946a84e8c69b3d8b0b35cd8753c46d966ffba5
│ │ ├─23893 mysqld
│ │ ├─25112 bash
│ │ └─28740 mysql -uroot -px xxxx
│ └─57aff029f6c65c6bbe0edcb3f9b61b4c3a6253bd1093d2dfc8ec318dd2cc4b9b
│ ├─23667 mysqld
│ ├─24709 bash
│ └─29649 mysql -uroot -px xxxx
......
使用 systemd-cgtop
命令可以看到使用最多資源的進程。
CPU
默認情況下,每一個容器可以使用宿主機上的所有 CPU 資源,但大多數系統使用的資源調度算法是CFS
(完全公平調度器),它公平調度每一個工作進程。進程分CPU密集型
和IO密集型
兩類。系統內核會實時監測系統進程,當某個進程占用 CPU 資源時間過長時,內核會調整該進程的優先級。
參數
參數名 | 作用 |
---|---|
--cpu-share | cpu資源提供給一組容器使用,組內的容器按比例使用cpu資源,當容器處於空閑狀態時,cpu資源被負載大的容器占用,(按壓縮方式比例分配),當空閑進行運行起來時,cpu資源會被分配到其他容器 |
--cpus= value | 指定 cpu的核心數量 |
--cpuset-cpus | 指定容器只能運行在哪個cpu核心上(綁定cpu);核心使用0,1,2,3編號; |
–cpu-share | 隨機指定cpu |
實例:
docker run -di --name=os --cpus=2 centos:latest bash
設置內存
默認情況下,docker 並沒有對容器內存進行限制,也就是說容器可以使用主機提供的所有內存。這當然是非常危險的事情,如果某個容器運行了惡意的內存消耗軟件,或者代碼有內存泄露,很可能會導致主機內存耗盡,因此導致服務不可用。對於這種情況,docker 會設置 docker daemon 的 OOM(out of memory) 值,使其在內存不足的時候被殺死的優先級降低。另外,就是你可以為每個容器設置內存使用的上限,一旦超過這個上限,容器會被殺死,而不是耗盡主機的內存。
限制內存上限雖然能保護主機,但是也可能會傷害到容器里的服務。如果為服務設置的內存上限太小,會導致服務還在正常工作的時候就被 OOM 殺死;如果設置的過大,會因為調度器算法浪費內存。因此,合理的做法包括:
- 為應用做內存壓力測試,理解正常業務需求下使用的內存情況,然后才能進入生產環境使用
- 一定要限制容器的內存使用上限
- 盡量保證主機的資源充足,一旦通過監控發現資源不足,就進行擴容或者對容器進行遷移
- 如果可以(內存資源充足的情況),盡量不要使用 swap,swap 的使用會導致內存計算復雜,對調度器非常不友好
docker 限制容器內存使用量
在 docker 啟動參數中,和內存限制有關的包括(參數的值一般是內存大小,也就是一個正數,后面跟着內存單位 b
、k
、m
、g
,分別對應 bytes、KB、MB、和 GB):
參數 | 作用 |
---|---|
-m 或 --memory |
容器能使用的最大內存大小,最小值為 4m |
--memory-swap | 容器能夠使用的 swap 大小 |
--memory-swappiness | 默認情況下,主機可以把容器使用的匿名頁(anonymous page)swap 出來,你可以設置一個 0-100 之間的值,代表允許 swap 出來的比例 |
--memory-reservation | 設置一個內存使用的 soft limit,如果 docker 發現主機內存不足,會執行 OOM 操作。這個值必須小於 --memory 設置的值 |
--kernel-memory | 容器能夠使用的 kernel memory 大小,最小值為 4m。 |
--oom-kill-disable | 是否運行 OOM 的時候殺死容器。只有設置了 -m ,才可以把這個選項設置為 false,否則容器會耗盡主機內存,而且導致主機應用被殺死 |
關於 --memory-swap
的設置必須解釋一下,--memory-swap
必須在 --memory
也配置的情況下才能有用。
- 如果
--memory-swap
的值大於--memory
,那么容器能使用的總內存(內存 + swap)為--memory-swap
的值,能使用的 swap 值為--memory-swap
減去--memory
的值 - 如果
--memory-swap
為 0,或者和--memory
的值相同,那么容器能使用兩倍於內存的 swap 大小,如果--memory
對應的值是200M
,那么容器可以使用400M
swap - 如果
--memory-swap
的值為 -1,那么不限制 swap 的使用,也就是說主機有多少 swap,容器都可以使用
實例:
docker run -di --name=os -m=1g centos:latest bash
測試
- 安裝 Docker 容器
[root@VM_0_15_centos ~]# docker pull centos:latest
- 運行容器並指定CPU 和內存
[root@VM_0_15_centos ~]# docker run -di --name=os --cpus=0.3 -m=512MB centos:latest bash
- 進入容器並安裝壓測工具
[root@VM_0_15_centos ~]# docker exec -it os bash
[root@7a1de35f8a52 /]# yum install wget gcc gcc-c++ make -y
[root@7a1de35f8a52 /]# yum install -y epel-release
[root@7a1de35f8a52 /]# yum install stress -y
- 壓測前觀察 Docker 資源使用情況
docker stats
- 壓測CPU
stress --cpu 2 --timeout 600
增加2個 CPU 進程,處理 sqrt()
函數函數,以提高系統CPU負荷,測試600S
- 觀察 Docker 資源使用情況
docker stats
可以看到容器 CPU 基本上不能彪到 30%以上了。
7)壓測內存
[root@ef431fea0e9e /]# stress --vm 1 --vm-bytes 1g --timeout 600
新增1個 IO 進程,內存大小為 1G,發現進程直接被 kill 掉了
stress: info: [162] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: FAIL: [162] (415) <-- worker 163 got signal 9
stress: WARN: [162] (417) now reaping child worker processes
stress: FAIL: [162] (451) failed run completed in 1s