探索 OpenStack 之（10）：深入鏡像服務Glance

本篇博文來探討下鏡像服務Glance。

0.  基本概念

0.1 基本功能

Glance提供REST API來支持以下鏡像操作：

• 查詢
• 注冊
• 上傳
• 獲取
• 刪除
• 訪問權限管理

0.2 Glance REST API的版本V1和V2

0.2.1功能差別

Glance有兩個版本的REST API V1 和 V2，兩者之間還是有蠻大的不同：

（1）. V1只提供了基本的image和member操作功能：鏡像創建、刪除、下載、列表、詳細信息查詢、更新，以及鏡像tenant成員的創建、刪除和列表。

（2）. V2除了支持V1的所有功能外，主要是增加了如下功能：

• 鏡像 location 的添加、刪除和修改等操作
• metadata  namespace 操作
• image tag 操作

（3）.V1 和V2對 image store 的支持是相同的。

0.2.2 實現差別

V1的實現上，有glance-api和glance-registry兩個WSGI 服務，都提供REST API，只不過glance-API的REST API對外使用，glance-registry的API只由glance-api使用。

而 V2在實現上，把 glance-registry 的功能合並到了 glance-api 中，減少了一個中間環節。

0.2.3 使用差別

目前，Glance Cli和Horizon默認還是使用V1版本的API。究其原因，

• 一方面，似乎網上有看到說法說V2的性能沒有V1好，我們也能看到使用V2的API的時候，需要多次調用REST API；
• 另一方面，我認為V2里面新添加的功能似乎也不是鏡像管理的必須功能，所以暫時沒怎么被使用也是情理之中。

0.3 image 的數據存放

image 的元數據 通過glance-registry 存放在 db 中； image 的chunk 數據 通過 glance-store 存放在各種 backend store 中，並從中獲取。

0.4 image 的訪問權限

image 的 訪問權限分為：

• public 公共的：可以被所有的 tenant 使用。
• private 私有的/項目的：只能被 image owner 所在的 tenant 使用。
• shared 共享的：一個非共有的image 可以 共享給另外的 tenant，可通過member-* 操作來實現。
• protected 受保護的：protected 的 image 不能被刪除。

0.5 image 的各種狀態

• queued：沒有上傳 image 數據，只有db 中的元數據。
• saving：正在上傳 image data
• active：正常狀態
• deleted/pending_delete： 已刪除/等待刪除
• killed：image 元數據不正確，等待被刪除。

狀態圖：

• 'queued' => ('saving', 'active', 'deleted')
  'saving' => ('active', 'killed', 'deleted', 'queued')
  'active' => ('queued', 'pending_delete', 'deleted')
  'killed' => ('deleted')
  'pending_delete' => ('deleted')
  'deleted' => ()

1. V1版本的代碼實現

1.1 代碼模塊

從上圖也可以看出，Glance V1主要是三個模塊：

• glance/common/

     wsgi.py -- WSGI server,開啟glance-(api|registry)服務，接受請求，比如GET /images/bb8838d5-06b5-4f7e-b6ef-87c908f04cc7 HTTP/1.1
• glance-api：提供對外REST API，同時調用glance-registry進行數據庫操作，以及調用glance-store進行store操作
  • images.py -- 實現image-* 操作

    memebers.py --實現 member-* 操作

    router.py -- 將WSGI 收到的 HTTP 操作映射到 glance-api 模塊的 Controller 類的方法.
• glance-registry：向 glance-api 提供元數據數據庫操作 REST API，默認在端口9191監聽。 主要文件：
  • client/v1/

            api.py -- registry API 入口，調用client.py中的函數

            client.py --調用 images.py 和 members.py 中的function

    api/v1/

            images.py -- 調用 glance/db/sqlalchemy/api.py 實現 images 數據庫相關操作

            memebers.py --調用 glance/db/sqlalchemy/api.py 實現 members數據庫表的相關操作

    glance/db/sqlalchemy/

       api.py -- db操作api入口

       models.py -- 數據庫表模型，每個表對應一個類

• glance-store：這部分代碼不是在 glance github 代碼項目中，不理解為什么不是在一起，cinder也是類似的架構，但是cinder的所有代碼都是在一個github項目中。
  • glance-store 向 glance-api 提供文件 backend.py 作為 store 操作的統一入口。主要函數包括：
    • create_stores：調用store.configure_add，glance-api服務啟動的時候根據用戶配置調用該函數來注冊各個store
    • get_from_backend：調用store.get，從store中獲取data chunks
    • get_size_from_backend：調用store.get_size，從store中獲取image size
    • delete_from_backend：調用store.delete，從store中刪除image data
    • store_add_to_backend：調用store.add，添加image到store
    • set_acls：調用store.set_acls，設置image的讀寫權限
  • glance-store 提供一個需要各個 store vendor 實現的基類Store，定義了幾個需要實現的操作：
    • configure_add：根據用戶配置來配置該 backend store
    • get：獲取 image chunk data
    • get_size：獲取image大小
    • add： 添加 image 到store中
    • delete： 從 store 中刪除 image chunk data
    • set_acls： 設置 image 的讀寫權限
  • 目前支持的 backend store 見上圖。各backend store所支持的功能差別很大，比如
    • cinder.py 只實現了方法 get_size，因為目前的 Glance 不支持 upload image  到 Cinder volume 中。
    • http.py 只實現了 get 和 get_size， 因此只能從http store download image 和查詢 image size。
    • swift.py 的實現可以說是最全的，filesystem 次之。
  • image 存在於不同store 中時不同的 Location url 格式
    • cinder://volume-id
    • https://user:[e-mail]:80/images/some-id
      http://images.oracle.com/123456
      swift://example.com/container/obj-id
      swift://user:account:[e-mail]/container/obj-id
      wift+http://user:account:[e-mail]/container/obj-id
      s3://accesskey:[e-mail]/bucket/key-id       
      file:///var/lib/glance/images/1
      s3+https://accesskey:[e-mail]/bucket/key-id
  • 使用 backend store
    • 默認使用的 store 由配置文件 glance-api.conf 的配置項 default_store=<STORE> 指定
    • 可以使用的 stores 有配置文件 glance-api.conf 的配置項 stores=<STORES> 指定
    • 在Glance Cli image-create 中可使用參數 --store 指定目標backend store

1.2 操作流程

Glance Cli	glanceclient SDK調用的REST API	Glance 內部函數	Gance 內部函數的具體實現
image-create 創建image	POST /images	glance/api/v1/images.py   def create(self, req, image_meta, image_data): Adds a new image to Glance	1. api/v1/images.py: _reserve. 添加image 元數據到db，獲取 image id，設置 image 狀態為 queued。 1.1. registry/client/v1/client.py:   def add_image(self, image_metadata) 1.2. registry/api/v1/images.py: def create(self, req, body) 1.3. db/sqlalchemy/api.py:   image_create 2. api/v1/images.py: _handle_source 處理 image data，根據image data 來源分為三種情況： 2.1 如果 image_data // 如果直接傳入了 image data 2.1.1 def _upload(self, req, image_meta): 將image data 存入指定的 backend store。注意Content-Type 必須為 application/octet-stream。 2.1.1.1 registry.update_image_metadata // 設置 image 狀態 為 saving 2.1.1.2 upload_utils.upload_data_to_store //  check_quota //檢查用戶quota store_api.store_add_to_backend //調用 backend.py 的方法 store.add //調用 backend store 實現的方法 filesystems.py. def add //如果是filesystem的話，將 image chunk data 寫入到一個以 image id 為文件名的文件 2.1.2 def _activate //調用 glance-registry 設置 image 狀態為 active 2.2 如果是 copy_from，則異步執行上面2.1.1 ~ 2.1.2 2.3 如果是指定 location的話， 2.3.1 從location 指定的backend store 中獲取 image size 2.3.2 設置 image 狀態 為 active
image-update 修改image metadata屬性或者數據	PUT /images/<ID>	glance/api/v1/images.py   def update(self, req, id, image_meta, image_data) Updates an existing image with the registry	注意： （1）只允許使用 Location|Copy-From 來 修改狀態為 queued 的 image （2）可修改image 訪問權限屬性，以及元數據。   1. 修改 image 訪問權限，調用 registry.get_image_members，再調用 store.set_acls 方法，但是它只有swift支持。 2. 修改image 元數據，調用 registry.update_image_metadata 方法 3. 上傳 image data，調用 self._handle_source，見上面 #2.
image-delete 根據image id 刪除 指定image	DELETE /images/<ID>	glance/api/v1/images.py   def delete(self, req, id) Deletes the image and all its chunks from the Glance	1. 調用 registry.get_image_metadata，獲取 image 元數據 2. 檢查 image 是否可以被刪除，比如是否是 protected等 3. 調用 registry.update_image_metadata 設置狀態為 deleted 或者 pending_delete 4. 調用 upload_utils.initiate_deletion 開始 刪除操作 4.1 調用backend.py 的delete_from_backend 方法，它會調用 store.delete ，如果image存放在文件系統中的話，調用os.unlink(fn) 方法 刪除文件。 4.2 db_api.get_api().image_location_delete // 設置表image_locations的id和image_id對應item的 deleted，status，updated_at，deleted_at 5. 調用 registry.delete_image_metadata 刪除 image 元數據  5.1 registry/images.py: def delete(self, req, id) 5.1.1 db/sqlalchemy/api.py: _image_locations_delete_all //Delete all image entries in db table image_locations for the given image id 5.1.2 db/sqlalchemy/api.py: _image_child_entry_delete_all //Deletes all the  entries in db table image_properties for the given image id 5.1.3 db/sqlalchemy/api.py: _image_child_entry_delete_all //Deletes all the entries in db table image_members for the given image id   5.1.4 db/sqlalchemy/api.py: _image_child_entry_delete_all //Deletes all the entries in db table image_tags for the given image id
image-list 獲取image列表	GET /images -- Returns a set of brief metadata about images	glance/api/v1/images.py   def index(self, req) Returns the following information for all public, available images: id -- The opaque image identifier name -- The name of the image disk_format -- The disk image format container_format -- The "container" format of the image checksum -- MD5 checksum of the image data size -- Size of image data in bytes 比如： {             "name": "name3",             "container_format": null,             "disk_format": null,             "checksum": null,             "id": "1e7b0a5a-7b78-4673-8d56-3abff7b491ae",             "size": 12336128 }	調用 registry.get_images_list ，從 db 中獲取 image 元數據
獲取所有image的詳細信息	GET /images/detail -- Returns a set of detailed metadata about  images	glance/api/v1/images.py   def detail(self, req) Returns detailed information for all available images。比如： {             "status": "queued",             "deleted_at": null,             "name": "name3",             "deleted": false,             "container_format": null,             "created_at": "2015-01-21T23:05:54",             "disk_format": null,             "updated_at": "2015-01-21T23:05:54",             "min_disk": 0,             "protected": false,             "id": "1e7b0a5a-7b78-4673-8d56-3abff7b491ae",             "min_ram": 0,             "checksum": null,             "owner": "fa2046aaead44a698de8268f94759fc1",             "is_public": false,             "virtual_size": null,             "properties": {},             "size": 12336128         },	直接從 db 中獲取 image 的各項數據。 1. 調用 registry.get_images_detail 1.1 調用 registry/api/v1/images.py 中的 def detail 1.1.1 調用 db/sqlalchemy/api.py 中的 image_get_all
glance image-show 根據image id顯示指定image的元數據	HEAD /images/<ID> -- Return metadata about an image with id <ID>	glance/api/v1/images.py   def meta(self, req, id) Returns metadata about an image in the HTTP headers of the response object	從 db 中獲取 image 部分元數據 1. 調用 self.get_image_meta_or_404(self, request, image_id) 1.1 調用 registry.get_image_metadata 1.1.1 調用 db_api.image_get
image-download   下載image	GET /images/<ID>  -- Return image data for image with id <ID>	glance/api/v1/images.py   def show(self, req, id) Returns an iterator that can be used to retrieve an image's  data along with the image metadata	調用 glance-store 方法返回 image data。   1. 調用 r egistry.get_image_metadata，再調用 self.db_api.image_get 來獲取 image 元數據   2. 調用 self._get_from_store 獲取 image 數據   2.1 調用 glance_store.location.get_location_from_uri， 從 image uri 中獲取 location 2.2 調用 backend.py 的 get_store_from_uri， 獲取所用的 store 2.3 調用 store.get 獲取 image data
member-list --image-id 獲取可訪問指定image的tenant成員列表	GET /images/{image_id}/members	glance/api/v1/members.py   def index(self, req, image_id) Return a list of dictionaries indicating the members of the  image, i.e., those tenants the image is shared with	通過 glance-registry 執行 數據庫操作。 1.1 registry.get_image_members 1.1.1 registry/api/v1/members.py: def index 1.1.1.1db/sqlalchemy/api.py: image_get 1.1.1.2db/sqlalchemy/api.py: image_member_find
member-list --tenant-id 獲取指定tenant的可訪問image列表	GET /shared-images/{id}	glance/api/v1/members.py   def index_shared_images(self, req, id) Retrieves list of image memberships for the given member.	通過 glance-registry 執行 數據庫操作。 1.1 registry.get_member_images 1.1.1 registry/api/v1/members.py: def index_shared_images 1.1.1.1 db/sqlalchemy/api.py: image_member_find
member-create 向指定image添加指定tenant可訪問成員	PUT /images/{image_id}/members/{id}	glance/api/v1/members.py   def update(self, req, image_id, id, body=None) Adds a membership to the image, or updates an existing one.	通過 glance-registry 執行 數據庫操作。 1.1 registry.add_member 1.1.1 registry/api/v1/members.py: def delete 1.1.1.1 db/sqlalchemy/api.py: image_update
member-delete 刪除指定image的指定可訪問tenant成員	DELETE /images/{image_id}/members/{id}	glance/api/v1/members.py   def delete(self, req, image_id, id) //Removes a membership from the image	通過 glance-registry 執行 數據庫操作。 1.1 registry.delete_member 1.1.1 registry/api/v1/members.py: def delete 1.1.1.1db/sqlalchemy/api.py: image_get 1.1.1.2 db/sqlalchemy/api.py: image_member_find 1.1.1.3 db/sqlalchemy/api.py: image_member_delete

 2 小結

Glance 的原理和實現相比較其它組件較簡單、直接。V2 REST API 內容有不少增加，還需要進一步的研究。