和物理機一樣，虛擬機包括幾個重要的部分：CPU、內存、磁盤設備、網絡設備等。本文將簡要總結虛機磁盤設備有關知識。
1. Nova boot CLI 中有關虛機塊設備的幾個參數
nova boot CLI 的完整參數如下：
usage: nova boot [--flavor <flavor>] [--image <image>] //boot from image with id [--image-with <key=value>] //image metadata properties [--boot-volume <volume_id>] [--snapshot <snapshot_id>] [--block-device-mapping <dev-name=mapping>] [--block-device key1=value1[,key2=value2...]] [--swap <swap_size>] [--ephemeral size=<size>[,format=<format>]] [--min-count <number>] [--max-count <number>] [--meta <key=value>] [--key-name <key-name>] [--file <dst-path=src-path>] //文件注入 [--user-data <user-data>] [--availability-zone <availability-zone>] [--security-groups <security-groups>] [--hint <key=value>] [--nic <net-id=net-uuid,v4-fixed-ip=ip-addr,v6-fixed-ip=ip-addr,port-id=port-uuid>] [--config-drive <value>] [--poll] <name>
這里面，--boot-volume，--snapshot，--block-device-mapping，--block-device， --swap，--ephemeral 這幾個參數都相似的功能。
1.1 --block-device 參數
該參數可以使用下面這些值：
- source=image|snapshot|volume|blank
- dest=volume|local
- id=XXXXXX (a volume|image|snapshot UUID if using source=volume|snapshot|image)
- format=swap|ext4|...|none (to format the image/volume/ephemeral file; defaults to 'none' if omitted)
- bus=ide|usb|virtio|scsi (hypervisor driver chooses a suitable default if omitted)
- device=the desired device name (e.g. /dev/vda, /dev/xda, ...)
- type=disk|cdrom|floppy|mmc (defaults to 'disk' if omitted)
- bootindex=N (where N is any number >= 0, controls the order in which disks are looked at for booting)
- size=NN (where NN is number of GB to create type=emphemeral image, or the size to re-size to for type=glance|cinder)
- shutdown=preserve|remove
這里面只有 source 和 id 是必須的，別的都有默認值。比如：
- --block-device source=image,dest=volume,id=XXXXXXX,bus=ide,bootindex=2
- --block-device source=volume,dest=volume,id=XXXXXXX,bus=ide,type=cdrom,bootdex=1
- --block-device source=blank,dest=local,format=swap,size=50,bus=ide,type=floppy
dest 會指定source 的 destination，包括本地的（local）和 Cinder 卷 （volume）。
| dest | source | 說明 | shortcut |
| volume | volume | 直接掛載到 compute 節點 | 當 boot_index = 0 時相當於 --boot-volume <volume_id> |
| snapshot | 調用 cinder 依據快照創建新卷，掛載到compute節點 | 當 boot_index = 0 時相當於 --snapshot <snapshot_id> | |
| image | 調用cinder依據鏡像創建新卷，掛載到compute節點 | 當 boot_index = 0 時相當於 --image <image> （Boot from image (creates a new volume)） | |
| blank | 通知cinder依大小創建空卷並掛載到compute節點 | ||
| local | image | 在 Hypervisor 上創建 ephemeral 分區，將 image 拷貝到里面並啟動虛機 |
相當於普通的 Boot from image |
| local | blank | format=swap 時，創建 swap 分區 默認創建 ephemeral 分區 |
當 boot_index=-1, shutdown=remove, format=swap 時相當於 --swap <swap size in MB> 當 boot_index=-1, shutdown=remove 時相當於 --ephemeral |
1.2. 幾個 shortcut
2.1 --boot-volume <volume_id>
從 volume Boot 虛機。相當於 --block-device source=volume, dest=volume, boot_index=0, shutdown=preserve。一次只能使用一個 volume。不能和 --image and --snapshot 一起使用。
還可以預先創建好 bootable volume，然后使用 boot-volume 參數來指定該volume id。比如：
nova boot --flavor 2 --boot-volume f3f00ca1-5683-4e6b-8430-4dba1bbe3e5c boot_from_volume
2.2 --snapshot <snapshot_id>
從 snapshot boot 虛機。相當於 --block-device source=snapshot, dest=volume, boot_index=0, shutdown=preserve。一次只能使用一個 snapshot。不能和 --volumeand --snapshot 一起使用。
2.3 --swap <swap size in MB>
在 boot 虛機的時候增加 swap 塊設備。相當於 --block-device source=blank, dest=local, boot_index=-1, shutdown=remove, format=swap。一次只能使用一次。
2.4 --ephemeral size=<size in GB>,format=<ext3, ext4, ...>
在 boot 虛機的時候增加 ephemeral 塊設備。相當於 --block-device source=blank, dest=local, boot_index=-1, shutdown=remove。一次可以使用多次該參數。
比如 --ephemeral size=<size in GB>,format=<ext3, ext4, ...>
2.5 --block-device-mapping <dev-name=mapping> 用於增加多個額外的塊設備
mapping 的格式是 <dev-name>=<id>:<type>:<size(GB)>:<delete-on-terminate>：
- dev-name： 當 volume 被掛載后在 /dev/dev_name 中的設備名稱
- id： volume ID
- type：snap 則volume 是從 snapshot 上創建的；空白
- size (GB)： volume 的 size；可以留空白使得Nova自己判斷
- delete-on-terminate： True/1 或者 False/0， 標識在 VM 被terminated 后 volume是否被刪除
比如從 image boot VM 的同時掛載一個block volume
nova boot --image 4042220e-4f5e-4398-9054-39fbd75a5dd7 --flavor 2 --key-name mykey --block-device-mapping vdc=13:::0 boot-with-vol-test
2.6 --image
指定虛機系統盤的鏡像，ID 或者 name。nova compute 會根據 images_type 來決定使用何種類型的系統盤，包括 qcow2（本地鏡像文件）、lvm（volume group 中的vol，通過 iSCSI 掛接給虛機）、rbd（ceph rbd volume）等。
2. 虛機的本地磁盤空間
2.1 虛機本地磁盤空間大小設置
在 OpenStack 中， 一個虛機涉及到的存儲空間， 主要是 根分區 (/ ,root分區)， swap分區， ephemeral disk， 還有就是 Block storage (塊存儲，OpenStack 中的 Cinder 項目就是用於管理塊存儲的)。前面三種都是 ephemeral 的 (Nova 中專門定義的 ephemeral disk 指的是除了 root disk 和 swap disk之外的 ephemeral 空間)， ephemeral 空間會隨着 instance 的生命周期創建和消亡。
- root disk： 根分區，提供boot loader
- swap disk：交換分區。Linux 系統除了必須的 root 分區， 還是用 swap 分區是用於內存耗盡時將物理內存中一部分空間挪到 swap分區中，這樣就釋放了 一些物理內存空間。
- ephemeral disk：這里說的 ephemeral disk 是狹義的，指除 root 分區和 swap 分區之外， 根據提供的資源狀況提供的額外的臨時存儲。廣義的 ephemeral disk 可包括 root 分區和 swap 分區。
Nova flavor 可以定義一個虛機的各分區的大小。以下面的 tiny2 flavor 為例，其 root disk 為 1G 大小，Ephemeral disk 為 1G 大小，Swap disk 為 30M 大小。
s1@controller:~$ nova flavor-list +--------------------------------------+-----------+-----------+------+-----------+------+-------+-------------+-----------+ | ID | Name | Memory_MB | Disk | Ephemeral | Swap | VCPUs | RXTX_Factor | Is_Public | +--------------------------------------+-----------+-----------+------+-----------+------+-------+-------------+-----------+ | 1 | m1.tiny | 512 | 1 | 0 | | 1 | 1.0 | True | | 129f237e-8825-49fa-b489-0e41fb06b70e | tiny2 | 50 | 1 | 1 | 30 | 1 | 1.0 | True |
除了可以在 flavor 中設置各磁盤大小以外， 還使用 nova boot 命令時也可以設置 swap 和 ephemeral 分區的大小和文件系統，只是這里設置的空間大小需要比使用的 flavor 中相應值要小，也可以不設置這兩項，不設置的時候會按照flavor的默認值創建， 不然 novaclient 會提示錯誤。
2.2 虛機中的磁盤
使用 tiny2 flavor 啟動虛機后，登錄到虛機，使用 “fdisk -l” 命令可以看到其磁盤的情況：
root disk：
ephemeral 和 swap disk：
2.3 當 image type 為 qcow2 時 Nova compute 節點上的磁盤鏡像文件
此種類型下，nova compute 會在計算節點本地創建文件夾，並生成虛機系統鏡像文件。
對於 libvirt 虛機來說，當虛機是基於鏡像啟動的時候，虛機的每個磁盤在 nova compute 節點上都有一個磁盤鏡像文件，默認是在 /var/lib/nova/instances/<instance_id> 目錄中：
root@compute1:/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b# ls -l total 2476 -rw-r--r-- 1 libvirt-qemu kvm 2031616 Jun 10 18:19 disk -rw-r--r-- 1 libvirt-qemu kvm 393216 Jun 10 18:12 disk.local -rw-r--r-- 1 libvirt-qemu kvm 197120 Jun 10 07:42 disk.swap
每個文件默認都是 qcow2 格式，都使用 backing 文件。
disk 文件對應的是虛機的 root 分區：
root@compute1:/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b# qemu-img info disk image: disk file format: qcow2 virtual size: 1.0G (1073741824 bytes) #受 flavor 指定的大小 disk size: 1.9M cluster_size: 65536 backing file: /var/lib/nova/instances/_base/fbad3d96a1727069346073e51d5bbb1824e76e34 Format specific information: compat: 1.1 lazy refcounts: false
而其 backing file 是個 raw 類型的鏡像文件：
root@compute1:/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b# qemu-img info /var/lib/nova/instances/_base/fbad3d96a1727069346073e51d5bbb1824e76e34 image: /var/lib/nova/instances/_base/fbad3d96a1727069346073e51d5bbb1824e76e34 file format: raw virtual size: 39M (41126400 bytes) disk size: 17M
disk.local 是虛機的 ephemeral 分區的鏡像文件，默認的時候它同樣是 qcow2 類型：
root@compute1:/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b# qemu-img info disk.local image: disk.local file format: qcow2 virtual size: 1.0G (1073741824 bytes) disk size: 324K cluster_size: 65536 backing file: /var/lib/nova/instances/_base/ephemeral_1_default Format specific information: compat: 1.1 lazy refcounts: false
disk.swap 是虛機的 swap 分區的鏡像文件：
root@compute1:/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b# qemu-img info disk.swap image: disk.swap file format: qcow2 virtual size: 30M (31457280 bytes) disk size: 196K cluster_size: 65536 backing file: /var/lib/nova/instances/_base/swap_30 Format specific information: compat: 1.1 lazy refcounts: false
這些磁盤鏡像文件是由 Nova 在啟動虛機的過程中創建的。鏡像文件的目錄由 nova.config 的配置項 instances_path 指定，其默認值為 “/var/lib/nova/instances”；鏡像文件的 backing 文件的目錄由 image_cache_subdirectory_name 配置項指定，其默認值為 “ _base” ，其主要過程可以參考 這篇文章。
libvirt.xml 文件定義了磁盤的鏡像文件和磁盤的對應關系：
<disk type="file" device="disk"> <driver name="qemu" type="qcow2" cache="none"/> <source file="/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b/disk"/> <target bus="virtio" dev="vda"/> </disk> <disk type="file" device="disk"> <driver name="qemu" type="qcow2" cache="none"/> <source file="/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b/disk.local"/> <target bus="virtio" dev="vdb"/> </disk> <disk type="file" device="disk"> <driver name="qemu" type="qcow2" cache="none"/> <source file="/var/lib/nova/instances/eddc46a8-e026-4b2c-af51-dfaa436fcc7b/disk.swap"/> <target bus="virtio" dev="vdc"/> </disk>
3. Nova 虛機的 block_device_info 數據結構
3.1 代碼分析
該數據結構是 Nova 中一個重要的數據結構，它的內容包括虛機的所有磁盤和被附加的所有卷。一個示例如下：
block_device_info = {
'root_device_name': "/dev/sda", //root分區 'swap': { // swap 分區 'device_name': "/dev/sdb", 'swap_size': 5, } 'ephemerals': [ //ephemerals 分區，可以有多個 {'num': 0, 'virtual_name': 'eph0', 'device_name': "/dev/sdc", 'size': 5 }, {'num': 1, 'virtual_name': 'eph1', 'device_name': "/dev/sdd", 'size': 5 }, {'num': 2, 'virtual_name': 'eph2', 'device_name': "/dev/sde", 'size': 5 }, ... ], 'block_device_mapping': [ //block devices mapping，可以有多個 {'cinfo': {....some cinder volume data....}, 'mount_device': "/dev/sdf", 'delete_on_termination': True }, {'cinfo': {....some cinder volume data....}, 'mount_device': "/dev/sdg", 'delete_on_termination': True }, {'cinfo': {....some cinder volume data....}, 'mount_device': "/dev/sdh", 'delete_on_termination': True }, ... ], }
block_device_mapping 的信息是由 Nova 在數據庫中維護的，數據表是 block_device_mapping，它維護着一個虛機曾經有過但是現在被刪除的和現有的卷信息：
MariaDB [nova]> select * from block_device_mapping where instance_uuid='02699155-940f-4401-bc01-36220db80639';
| created_at | updated_at | deleted_at | id | device_name | delete_on_termination | snapshot_id | volume_id | volume_size | no_device | connection_info | instance_uuid | deleted | source_type | destination_type | guest_format | device_type | disk_bus | boot_index | image_id |
+---------------------+---------------------+---------------------+----+-------------+-----------------------+-------------+---------------------------
| 2015-06-10 02:01:56 | 2015-06-10 02:44:31 | NULL | 46 | /dev/vda | 0 | NULL | 26446902-5a56-4c79-b839-a8e13a66dc7a | NULL | NULL | {"driver_volume_type": "iscsi", "serial": "26446902-5a56-4c79-b839-a8e13a66dc7a", "data": {"device_path": "/dev/disk/by-path/ip-10.0.2.41:3260-iscsi-iqn.2010-10.org.openstack:volume-26446902-5a56-4c79-b839-a8e13a66dc7a-lun-1", "host_device": "/dev/disk/by-path/ip-10.0.2.41:3260-iscsi-iqn.2010-10.org.openstack:volume-26446902-5a56-4c79-b839-a8e13a66dc7a-lun-1", "target_discovered": false, "encrypted": false, "qos_specs": null, "target_iqn": "iqn.2010-10.org.openstack:volume-26446902-5a56-4c79-b839-a8e13a66dc7a", "target_portal": "10.0.2.41:3260", "volume_id": "26446902-5a56-4c79-b839-a8e13a66dc7a", "auth_password": "Yeb2Sjit2ESPvkKV7YSs", "target_lun": 1, "access_mode": "rw", "auth_username": "HhADUkXT858xD3AEBhzv", "auth_method": "CHAP"}} | 02699155-940f-4401-bc01-36220db80639 | 0 | volume | volume | NULL | disk | virtio | 0 | NULL |
| 2015-06-10 02:27:06 | NULL | 2015-06-10 02:27:14 | 47 | /dev/vdd | 0 | NULL | 31367039-0da5-4dac-bf9a-40303b869126 | NULL | NULL | NULL | 02699155-940f-4401-bc01-36220db80639 | 47 | volume | volume | NULL | NULL | NULL | NULL | NULL |
| 2015-06-10 02:28:59 | NULL | 2015-06-10 02:29:08 | 48 | /dev/vdd | 0 | NULL | 31367039-0da5-4dac-bf9a-40303b869126 | NULL | NULL | NULL | 02699155-940f-4401-bc01-36220db80639 | 48 | volume | volume | NULL | NULL | NULL | NULL | NULL |
| 2015-06-10 02:30:07 | 2015-06-10 02:44:32 | 2015-06-10 03:58:26 | 49 | /dev/vdd | 0 | NULL | 31367039-0da5-4dac-bf9a-40303b869126 | NULL | NULL | {"driver_volume_type": "iscsi", "serial": "31367039-0da5-4dac-bf9a-40303b869126", "data": {"device_path": "/dev/disk/by-path/ip-10.0.2.41:3260-iscsi-iqn.2010-10.org.openstack:volume-31367039-0da5-4dac-bf9a-40303b869126-lun-1", "host_device": "/dev/disk/by-path/ip-10.0.2.41:3260-iscsi-iqn.2010-10.org.openstack:volume-31367039-0da5-4dac-bf9a-40303b869126-lun-1", "target_discovered": false, "encrypted": false, "qos_specs": null, "target_iqn": "iqn.2010-10.org.openstack:volume-31367039-0da5-4dac-bf9a-40303b869126", "target_portal": "10.0.2.41:3260", "volume_id": "31367039-0da5-4dac-bf9a-40303b869126", "auth_password": "2bUgBWHDTr8HyPBSX7wr", "target_lun": 1, "access_mode": "rw", "auth_username": "FaoWrhsw6CFThDtcUvSf", "auth_method": "CHAP"}} | 02699155-940f-4401-bc01-36220db80639 | 49 | volume | volume | NULL | NULL | NULL | NULL | NULL |
| 2015-06-10 05:51:50 | 2015-06-10 05:51:55 | NULL | 52 | /dev/vdd | 0 | NULL | de127d46-ed92-471d-b18b-e89953c305fd | NULL | NULL | {"driver_volume_type": "iscsi", "serial": "de127d46-ed92-471d-b18b-e89953c305fd", "data": {"access_mode": "rw", "host_device": "/dev/disk/by-path/ip-10.0.2.41:3260-iscsi-iqn.2010-10.org.openstack:volume-de127d46-ed92-471d-b18b-e89953c305fd-lun-1", "target_discovered": false, "encrypted": false, "qos_specs": null, "target_iqn": "iqn.2010-10.org.openstack:volume-de127d46-ed92-471d-b18b-e89953c305fd", "target_portal": "10.0.2.41:3260", "volume_id": "de127d46-ed92-471d-b18b-e89953c305fd", "target_lun": 1, "device_path": "/dev/disk/by-path/ip-10.0.2.41:3260-iscsi-iqn.2010-10.org.openstack:volume-de127d46-ed92-471d-b18b-e89953c305fd-lun-1", "auth_password": "eb6BYxF4oJYLFxDt3woc", "auth_username": "nJPF9yMdy2b9ioobRFMw", "auth_method": "CHAP"}} | 02699155-940f-4401-bc01-36220db80639 | 0 | volume | volume | NULL | NULL | NULL | NULL | NULL |
+---------------------+---------------------+---------------------+----+-------------+-----------------------+-------------+----------------------------+
3.2 實驗表明，libvirt 不支持設置 disk 的 device name。
試着使用下面的命令，創建一個 empermeal disk，設置它的 size 為1G：
nova boot --flavor 5a03775d-11e1-4d20-b4d6-4c54d7036421 --image b07b7e9c-7cb9-4be4-b623-625ef79a142d --block-device source=blank,dest=local,bus=virtio,device=/dev/vdc,size=1 --nic net-id=e088cd37-032c-4ed5-9079-7f4096d2e0eb testdevice2
但是，創建出來的虛機的臨時磁盤依然是 /dev/vdb。日志表明libivrt driver 拒絕了用戶設置的 device name：
Compute_service record updated for server-72:server-72.2 2018-10-25 12:53:23.830 41759 WARNING nova.virt.libvirt.driver [req-bd][instance: c124e394-cf6f-44ba-be36-53b145067f3c] Ignoring supplied device name: /dev/vdc. Libvirt can't honour user-supplied dev names
分析：
- 這篇文章，https://openstack.nimeyo.com/52423/openstack-dev-nova-device-names-supplied-to-the-boot-request，對此有分析，認為除了 nova xenapi 外，別的 driver 都不支持設置 device name。正是這個 patch，https://review.openstack.org/#/c/189632/，讓 libivirt 徹底不支持用戶定義的 dev name，但是只是在日志里面報錯，而不會讓 nova boot 操作失敗。
- 但是即使是 xenapi，雖然它能接受用戶設置，但這個操作也不一定可靠，也就是nova 不一定會嚴格按照用戶設置的 dev name 來工作。
- 即使 libvirt xml 中有 device name，這個也不一定和虛機實際的磁盤名稱是一致的，libvirt 只是維持特定 bus 內的dev names 之間的相對順序。目前的 linux，會采用 PCI 地址順序來枚舉塊設備。這個和我的另一篇文章 識別linux上的設備類型 有些關系。
- 要唯一標示塊設備，要么使用 disk serial number（只針對 cinder 卷，nova 會自動生成磁盤序列號），要么使用設備地址信息，可以參考 https://review.openstack.org/#/c/195662/。
另外，要創建臨時磁盤的話，需要設置 flavor 的 ephemeral 屬性。其值默認為 0，此時無法創建 ephemeral 磁盤。
參考鏈接：
https://wiki.openstack.org/wiki/BlockDeviceConfig
http://adaishu.blog.163.com/blog/static/175831286201262811249332/