thin provision是在 kernel3.2 中引入的。它主要有以下一些特點:
(1)允許多個虛擬設備存儲在相同的數據卷中,從而達到共享數據,節省空間的目的;
(2)支持任意深度的快照。之前的實現的性能為O(n),新的實現通過一個單獨的數據避免了性能隨快照深度的增加而降低。
(3)支持元數據存儲到單獨的設備上。這樣就可以將元數據放到鏡像設備或者更快的SSD上。
上面3個特性正是devicemapper支持docker存儲鏡像的關鍵特性。
使用lvm管理thin provisioning
# dd if=/dev/zero of=lvm0.img bs=1024k count=256
# losetup /dev/loop7 lvm0.img
# losetup -a
/dev/loop0: [fd00]:786725 (/dev/loop0)
/dev/loop1: [fd00]:786726 (/dev/loop1)
/dev/loop7: [fd00]:420986 (/root/lvm/lvm0.img)
# pvcreate /dev/loop7
Physical volume "/dev/loop7" successfully created
# vgcreate vg_test /dev/loop7
Volume group "vg_test" successfully created
在volume group中創建一個thin pool,大小為200M:
# lvcreate -L 200M -T vg_test/mythinpool
Logical volume "lvol0" created
Logical volume "mythinpool" created
# ls /dev/mapper/* |grep mythin
/dev/mapper/vg_test-mythinpool
/dev/mapper/vg_test-mythinpool_tdata
/dev/mapper/vg_test-mythinpool_tmeta
/dev/mapper/vg_test-mythinpool-tpool
創建thin logical volume:
# lvcreate -T vg_test/mythinpool -V 300M -n lvol1
Logical volume "lvol1" created
雖然thin pool只有200M,卻可以創建300M的邏輯卷。
# lvs
LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert
lvol1 vg_test Vwi-a-tz-- 300.00m mythinpool 0.00
mythinpool vg_test twi-a-tz-- 200.00m 0.00
創建快照:
# lvcreate -s --name mysnapshot1 vg_test/lvol1
Logical volume "mysnapshot1" created
使用dmsetup管理thin provisioning
創建thin pool
dmsetup create pool \
--table "0 20971520 thin-pool $metadata_dev $data_dev \
$data_block_size $low_water_mark"
# dmsetup create yy_thin_pool --table '0 409600 thin-pool /dev/loop6 /dev/loop7 128 0'
# dmsetup table /dev/mapper/yy_thin_pool
0 409600 thin-pool 7:6 7:7 128 0 0
# dmsetup remove yy_thin_pool
創建thinly-provisioned volume
首先,必須發送消息給pool:
dmsetup message /dev/mapper/yy_thin_pool 0 "create_thin 0"
這里的”0”是卷標識符,24位的數字,由調用者進行分配,如果已經存,會返回-EEXIST錯誤。
使用thinly-provisioned volume
創建一個20M大小的volume
dmsetup create thin --table "0 40960 thin /dev/mapper/yy_thin_pool 0"
# dmsetup table /dev/mapper/thin
0 40960 thin 253:3 0
#mkfs.ext4 /dev/mapper/thin
#mount /dev/mapper/thin /mnt/share1
/dev/mapper/thin 20M 1.2M 18M 7% /mnt/share1
Internal snapshots
創建快照
對一個active的卷創建快照,先要suspend volume。
dmsetup suspend /dev/mapper/thin
dmsetup message /dev/mapper/yy_thin_pool 0 "create_snap 1 0"
dmsetup resume /dev/mapper/thin
dmsetup create snap --table "0 40960 thin /dev/mapper/yy_thin_pool 1"
紅色部分是快照的名稱。
刪除volume
dmsetup remove thin
dmsetup message /dev/mapper/yy_thin_pool 0 "delete 0"
docker的結構
docker內部的存儲結構大概如下:
docker在初始化過程中,會創建一個100G的用於存儲數據,和一個2G的用於存儲元數據的稀疏文件,然后分別附加到回環塊設備/dev/loop0和/dev/loop1。然后基於回環塊設備創建thin pool。
docker在創建image,會將image的信息(struct DevInfo)寫到文件/var/lib/docker/devicemapper/metadata/$id,參考函數(devices *DeviceSet) registerDevice。
主要參考
[1]https://www.kernel.org/doc/Documentation/device-mapper/thin-provisioning.txt
作者:YY哥
出處:http://www.cnblogs.com/hustcat/
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。