1.背景介紹以及准備工作
2年前公司k8s生產環境部署在了aws上,今年由於公司策略原因,全面切換至騰訊雲,且將實體機部署項目遷移至k8s環境。對比本次的遷移,k8s版本已經更新到了1.21;不過由於是在雲上托管,這里雖然沒有太大的問題,還是有以下注意事項以及准備工作。
- 騰訊雲TKE分為TKE Master和TKE Node兩種角色;TKE Master為全托管,TKE Node為手動創建節點或者創建節點池來完成。
- 騰訊雲TKE的默認安全組一定要對應的放開,比如,TKE增加prometheus后會自動生成一個負載均衡、增加日志采集后也要開放對應端口等等。
- 需要准備的資源。
項目:有了項目,資源才能更好的分類
vpc:路由網關和nat網絡。
安全組:創建TKE集群時需要指定一個安全組。
秘鑰:創建TKE集群時和node時都需要。
置放群組:物理機隔離,讓不同cvm分配到不同的物理主機上。
2.創建項目
雲控制台--》項目管理--》新建,來建一個新的項目,名稱自定義
3.創建VPC以及子網
這里為手動創建vpc,這里沒有aws的標簽問題的困擾,所以創建和維護都比較方便。
子網規划這里就僅有一個,因為項目原本運行在雲上,原本的數據庫不做遷移。
子網網段/24 |
可用區 |
網絡類型 |
網絡名稱 |
10.158.50.0/24 |
上海三區 |
NAT+公網ip |
k8s-pub01-prod |
3.1 創建VPC以及子網
點擊左側私有網絡→新建
3.2 創建路由表
點擊左側路由表→新建
完成后如下
查看一下關聯的子網,有沒有關聯上一步創建的
4.創建安全組以及密鑰
密鑰這里不做過多解釋,至於安全組,這里還是覺得有必要解釋一下,在后期使用騰訊雲開放內網訪問、使用prometheus服務,使用日志服務的時候都有一些默認的安全組端口開放,所以剛開始不能一下子就把默認的給刪除,但是能刪除部分。默認騰訊TKE創建的安全組開放了以下規則。
在集群創建完成后,本人將安全組更改成了以下規則。
2個內網網段都是在使用日志和監控時需要的,不知道具體端口,只能開放2個網段,好在都是內網,對安全性的影響並沒有很大;至於放通master和worker節點間通信的端口,目前取消掉沒有什么影響,因為后期開放nodeport可能使用,如果沒有特殊要求,也可以不用刪除,全部打開,這里本人還是刪除,需要什么開放什么。
以下是官方安全組設置的參考:https://cloud.tencent.com/document/product/457/9084
5.創建置放群組
雲產品→雲服務器→置放群組
6.TKE集群
6.1 創建TKE集群
雲產品→容器服務→集群→新建
第一頁集群信息
第二頁選擇機型
第三頁與服務器配置
第四頁組件配置
第五頁信息確認
創建完成
6.2 開啟內外網訪問
容器服務→集群→選擇集群→基本信息
6.3 權限問題
除了父賬號以外,其他雲用戶在查看一些信息的時候沒有權限,即使這個用戶有了admin的授權,還是沒有權限;
解決方式如下:
要用根賬號來創建
登錄根賬號授權
6.4 創建ingress
騰訊雲TKE默認是沒有安裝ingress的,所以這里需要手動安裝,安裝方式見以下博客
https://www.cnblogs.com/lizexiong/p/15056918.html#blogTitle5