Docker Harbor私有倉庫部署與管理
1、Harbor 介紹
2、Harbor部署
3、Harbor管理
1、Harbor 介紹：
什么是 Harbor ？
- Harbor 是 VMware 公司開源的企業級 Docker Registry 項目，其目標是幫助用戶迅速搭建一個企業級的 Docker Registry 服務。
- Harbor以 Docker 公司開源的 Registry 為基礎，提供了圖形管理 UI 、基於角色的訪問控制(Role Based AccessControl) 、AD/LDAP 集成、以及審計日志(Auditlogging) 等企業用戶需求的功能，同時還原生支持中文。
- Harbor 的每個組件都是以 Docker 容器的形式構建的，使用 docker-compose 來對它進行部署。用於部署 Harbor 的 docker-compose 模板位於 harbor/docker-compose.yml。
Harbor的特性：
- 基於角色控制：用戶和倉庫都是基於項目進行組織的，而用戶在項目中可以擁有不同的權限。
- 基於鏡像的復制策略：鏡像可以在多個Harbor實例之間進行復制（同步）。
- 支持 LDAP/AD：Harbor 可以集成企業內部已有的 AD/LDAP（類似數據庫的一張表），用於對已經存在的用戶認證和管理。
- 鏡像刪除和垃圾回收：鏡像可以被刪除，也可以回收鏡像占用的空間。
- 圖形化用戶界面：用戶可以通過瀏覽器來瀏覽，搜索鏡像倉庫以及對項目進行管理。
- 審計管理：所有針對鏡像倉庫的操作都可以被記錄追溯，用於審計管理。
- 支持 RESTful API：RESTful API 提供給管理員對於 Harbor 更多的操控, 使得與其它管理軟件集成變得更容易。
- Harbor和docker registry的關系：Harbor實質上是對docker registry做了封裝，擴展了自己的業務模板。
Harbor的構成：
Harbor 在架構上主要有 Proxy、Registry、Core services、Database（Harbor-db）、Log collector（Harbor-log）、Job services 六個組件。
1）Proxy： Harbor 的 Registry、 UI、Token 服務等組件，都處在nginx反向代理后邊。該代理將來自瀏覽器、docker clients
的請求轉發到后端不同的服務上。
2）Registry：負責儲存Docker 鏡像，並處理Docker push/pull命令。由於要對用戶進行訪問控制，即不同用戶對Docker 鏡像
有不同的讀寫權限，Registry 會指向一個Token 服務，強制用戶的每次Docker pull/push 請求都要攜帶一個合法的Token,
Registry會通過公鑰對Token進行解密驗證。
3）Core services：Harbor的核心功能，主要提供以下3個服務：
- UI (harbor-ui) ：提供圖形化界面，幫助用戶管理Registry上的鏡像 (image) ，並對用戶進行授權。
- WebHook：為了及時獲取Registry上image 狀態變化的情況，在Registry上配置 Webhook， 把狀態變化傳遞給 UI 模塊。
- Token 服務：負責根據用戶權限給每個Docker push/pull 命令簽發Token。 Docker 客戶端向Registry 服務發起的請求,如果不包含Token，會被重定向到 Token 服務，獲得 Token 后再重新向Registry 進行請求。
4）Database (harbor -db) ：為core services提供數據庫服務，負責儲存用戶權限、審計日志、Docker 鏡像分組信息等數據。
5）Job services：主要用於鏡像復制，本地鏡像可以被同步到遠程Harbor實例上。
6）Log collector (harbor-log) ：負責收集其他組件的日志到一個地方。
Harbor 的每個組件都是以 Docker 容器的形式構建的，因此，使用 Docker Compose 來對它進行部署。 總共分為7個容器運行，通過在 docker- compose.yml 所在目錄中執行 docker-compose ps命令來查看， 名稱分別為:nginx、 harbor-jobservice、 harbor-ui、 harbor-db、 harbor-adminserver、registry、 harbor-log。 其中 harbor-adminserver 主要是作為一個后端的配置數據管理，並沒有太多的其他功能。 harbor-ui 所要操作的所有數據都通過 harbor-adminserver 這樣一個數據配置管理中心來完成。
2、Harbor 部署：
------------------------------------ Harbor 部署 ------------------------------------ Harbor服務器 20.0.0.40 docker-ce、docker-compose、harbor-offline-v1.2.2 client服務器 20.0.0.50 docker-ce 1. 部署 Docker-Compose 服務 //下載或者上傳 Docker-Compose curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose docker-compose -v 2. 部署 Harbor 服務 （1）下載或上傳 Harbor 安裝程序 wget http://harbor.orientsoft.cn/harbor-1.2.2/harbor-offline-installer-v1.2.2.tgz tar zxvf harbor-offline-installer-v1.2.2.tgz -C /usr/local/ （2）修改harbor安裝的配置文件 vim /usr/local/harbor/harbor.cfg --5行--修改，設置為Harbor服務器的IP地址或者域名 hostname = 20.0.0.40 --59行--指定管理員的初始密碼，默認的用戶名/密碼是admin/Harbor12345 harbor_admin_password = Harbor12345 ---------------------------------------------------------------------------------------------------------- 關於 Harbor.cfg 配置文件中有兩類參數：所需參數和可選參數 1、所需參數：這些參數需要在配置文件 Harbor.cfg 中設置。如果用戶更新它們並運行 install.sh 腳本重新安裝 Harbour， 參數將生效。具體參數如下： ●hostname：用於訪問用戶界面和 register 服務。它應該是目標機器的 IP 地址或完全限定的域名（FQDN），例如 20.0.0.40或 hub.kgc.cn。不要使用 localhost 或 127.0.0.1 為主機名。 ●ui_url_protocol：（http 或 https，默認為 http）用於訪問 UI 和令牌/通知服務的協議。如果共證處於啟用狀態，則此參數必須為 https。 ●max_job_workers：鏡像復制作業線程。 ●db_password：用於db_auth 的MySQL數據庫root 用戶的密碼。 ●customize_crt：該屬性可設置為打開或關閉，默認打開。打開此屬性時，准備腳本創建私鑰和根證書，用於生成/驗證注冊表令牌。當由外部來源提供密鑰和根證書時，將此屬性設置為 off。 ●ssl_cert：SSL 證書的路徑，僅當協議設置為 https 時才應用。 ●secretkey_path：用於在復制策略中加密或解密遠程 register 密碼的密鑰路徑。 2、可選參數：這些參數對於更新是可選的，即用戶可以將其保留為默認值，並在啟動 Harbor 后在 Web UI 上進行更新。如果進入 Harbor.cfg，只會在第一次啟動 Harbor 時生效，隨后對這些參數的更新，Harbor.cfg 將被忽略。 注意：如果選擇通過 UI 設置這些參數，請確保在啟動 Harbor 后立即執行此操作。具體來說，必須在注冊或在 Harbor 中創建任何新用戶之前設置所需的 auth_mode。當系統中有用戶時（除了默認的 admin 用戶）， auth_mode 不能被修改。 具體參數如下： ●Email：Harbor 需要該參數才能向用戶發送“密碼重置”電子郵件，並且只有在需要該功能時才啟用。請注意，在默認情況下 SSL 連接時沒有啟用。如果 SMTP 服務器需要 SSL，但不支持 STARTTLS，那么應該通過設置啟用 SSL email_ssl = TRUE。 ●harbour_admin_password：管理員的初始密碼，只在 Harbour 第一次啟動時生效。之后， 此設置將被忽略，並且應在 UI 中設置管理員的密碼。請注意，默認的用戶名/密碼是admin/Harbor12345。 ●auth_mode：使用的認證類型，默認情況下，它是 db_auth，即憑據存儲在數據庫中。對於LDAP身份驗證，請將其設置為 ldap_auth。 ●self_registration：啟用/禁用用戶注冊功能。禁用時，新用戶只能由 Admin 用戶創建，只有管理員用戶可以在 Harbour 中創建新用戶。注意：當 auth_mode 設置為 ldap_auth 時，自注冊功能將始終處於禁用狀態，並且該標志被忽略。 ●Token_expiration：由令牌服務創建的令牌的到期時間（分鍾），默認為 30 分鍾。 ●project_creation_restriction：用於控制哪些用戶有權創建項目的標志。默認情況下，每個人都可以創建一個項目。如果將其值設置為“adminonly”，那么只有 admin 可以創建項目。 ●verify_remote_cert：打開或關閉，默認打開。此標志決定了當Harbor與遠程 register 實例通信時是否驗證 SSL/TLS 證書。 將此屬性設置為 off 將繞過 SSL/TLS 驗證，這在遠程實例具有自簽名或不可信證書時經常使用。 另外，默認情況下，Harbour 將鏡像存儲在本地文件系統上。在生產環境中，可以考慮 使用其他存儲后端而不是本地文件系統，如 S3、Openstack Swif、Ceph 等對象存儲。但需要更新 common/templates/registry/config.yml 文件。 ---------------------------------------------------------------------------------------------------------- 3. 啟動 Harbor cd /usr/local/harbor/ ./install.sh 4. 查看 Harbor 啟動鏡像 cd /usr/local/harbor/ docker-compose ps 5. 創建一個新項目 （1）瀏覽器訪問：http://20.0.0.40 登錄 Harbor WEB UI 界面，默認的管理員用戶名和密碼是 admin/Harbor12345 （2）輸入用戶名和密碼登錄界面后可以創建一個新項目。點擊“+項目”按鈕 （3）填寫項目名稱為“myproject-kgc”，點擊“確定”按鈕，創建新項目 （4）此時可使用 Docker 命令在本地通過 127.0.0.1 來登錄和推送鏡像。默認情況下，Registry 服務器在端口 80 上偵聽。 //登錄 Harbor docker login http://20.0.0.40 //下載鏡像進行測試 docker pull nginx //將鏡像打標簽 格式：docker tag 鏡像:標簽 倉庫IP/項目名稱/鏡像名:標簽 docker tag nginx:latest 127.0.0.1/myproject-kgc/nginx:v1 //上傳鏡像到 Harbor docker push 127.0.0.1/myproject-kgc/nginx:v1 （5）在 Harbor 界面 myproject-kgc 目錄下可看見此鏡像及相關信息 6. 在其他客戶端上傳鏡像 以上操作都是在 Harbor 服務器本地操作。如果其他客戶端登錄到 Harbor，就會報如下錯誤。出現這問題的原因為Docker Registry 交互默認使用的是 HTTPS，但是搭建私有鏡像默認使用的是 HTTP 服務，所以與私有鏡像交互時出現以下錯誤。 docker login http://20.0.0.40 WARNING! Using --password via the CLI is insecure. Use --password-stdin. Error response from daemon: Get https://192.168.80.10/v2/: dial tcp 20.0.040:443: connect: connection refused （1）在 Docker 客戶端配置操作 //解決辦法是：在 Docker server 啟動的時候，增加啟動參數，默認使用 HTTP 訪問。 vim /usr/lib/systemd/system/docker.service --13行--修改 ExecStart=/usr/bin/dockerd -H fd:// --insecure-registry 20.0.0.40 --containerd=/run/containerd/containerd.sock 或 ExecStart=/usr/bin/dockerd --insecure-registry 20.0.0.40 //重啟 Docker，再次登錄 systemctl daemon-reload systemctl restart docker //再次登錄 Harbor docker login http://20.0.0.40 WARNING! Using --password via the CLI is insecure. Use --password-stdin. WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Login Succeeded //將自動保存憑據到/root/.docker/config.json，下次登錄時可直接使用憑據登錄 Harbor //下載鏡像進行測試 docker pull 20.0.0.40/myproject-kgc/nginx:v1 //上傳鏡像進行測試 docker pull cirros docker tag cirros:latest 20.0.0.40/myproject-kgc/cirros:v2 docker push 20.0.0.40/myproject-kgc/cirros:v2 （2）刷新 Harbor 的 Web 管理界面進行查看，會發現 myproject-kgc 項目里面有兩個鏡像
3、Harbor 管理：
------------------------------------ 維護管理Harbor ------------------------------------ 1. 通過 Harbor Web 創建項目 在 Harbor 倉庫中，任何鏡像在被 push 到 regsitry 之前都必須有一個自己所屬的項目。 單擊“+項目”，填寫項目名稱，項目級別若設置為"私有"，則不勾選。如果設置為公共倉庫，則所有人對此項目下的鏡像擁有讀權限，命令行中不需要執行"Docker login"即可下載鏡像，鏡像操作與 Docker Hub 一致。 2. 創建 Harbor 用戶 （1）創建用戶並分配權限 在 Web 管理界面中單擊系統管理 -> 用戶管理 -> +用戶， 填寫用戶名為“sanguo-lb”，郵箱為“sanguo-lb@kgc.com”，全名為“lvbu”，密碼為“Abc123456”，注釋為“管理員”（可省略）。 附：用戶創建成功后，單擊左側“...”按鈕可將上述創建的用戶設置為管理員角色或進行刪除操作，本例不作任何設置。 （2）添加項目成員 單擊項目 -> myproject-sanguo-> 成員 -> + 成員，填寫上述創建的用戶 sanguo-lb 並分配角色為“開發人員”。 附：此時單擊左側“...”按鈕仍然可對成員角色進行變更或者刪除操作 （3）在客戶端上使用普通賬戶操作鏡像 //刪除上述打標簽的本地鏡像 docker rmi 20.0.0.40/myproject-kgc/cirros:v2 //先退出當前用戶，然后使用上述創建的賬戶 kgc-zhangsan 登錄 docker logout 20.0.0.40 docker login 20.0.0.40 或 docker login -u kgc-zhangsan -p Abc123456 http://20.0.0.40 //下載和上傳鏡像進行測試 docker pull 20.0.0.40/myproject-kgc/cirros:v2 docker tag cirros:latest 20.0.0.40/myproject-kgc/cirros:v3 docker push 20.0.0.40/myproject-kgc/cirros:v3 3. 查看日志 Web 界面日志，操作日志按時間順序記錄用戶相關操作 4. 修改 Harbor.cfg 配置文件 要更改 Harbour的配置文件中的可選參數時，請先停止現有的 Harbour實例並更新 Harbor.cfg；然后運行 prepare 腳本來填充配置； 最后重新創建並啟動 Harbour 的實例。 使用 docker-compose 管理 Harbor 時，必須在與 docker-compose.yml 相同的目錄中運行。 cd /usr/local/harbor docker-compose down -v vim harbor.cfg #只能修改可選參數 ./prepare docker-compose up -d //如果有以下報錯，需要開啟防火牆 firewalld 服務解決 Creating network "harbor_harbor" with the default driver ERROR: Failed to Setup IP tables: Unable to enable SKIP DNAT rule: (iptables failed: iptables --wait -t nat -I DOCKER -i br-b53c314f45e8 -j RETURN: iptables: No chain/target/match by that name. (exit status 1)) systemctl restart firewalld.service docker-compose up -d 5. 移除 Harbor 服務容器同時保留鏡像數據/數據庫，並進行遷移 //在Harbor服務器上操作 （1）移除 Harbor 服務容器 cd /usr/local/harbor docker-compose down -v （2）把項目中的鏡像數據進行打包 //持久數據，如鏡像，數據庫等在宿主機的/data/目錄下，日志在宿主機的/var/log/Harbor/目錄下 ls /data/registry/docker/registry/v2/repositories/myproject-kgc cd /data/registry/docker/registry/v2/repositories/myproject-kgc tar zcvf kgc-registry.tar.gz ./* 6. 如需重新部署，需要移除 Harbor 服務容器全部數據 cd /usr/local/harbor docker-compose down -v #刪之前備份一下到opt目錄 mv /data/registry/docker/registry/v2/repositories/niuma-yp/niuma-yp.tar.gz /opt/
rm -r /data/database rm -r /data/registry
