容器的底層實現深度依賴於內核的眾多特性，如 overlay 文件系統，namespace, cgroup 等，因此內核的功能和穩定性，在很大程度上，決定了整個容器PaaS平台的功能和穩定性。從 TKE 上線三年多以來，上萬集群，數十萬個節點的運營經驗來看，內核問題約占所有節點問題的三分之一。
那么容器場景選擇哪個Linux版本最好呢？在騰訊雲，這個答案是 Tencent Linux。
這時候大家應該會有很多的疑問，接下來的 FAQ 會盡力解答大家的疑問。
Tencent Linux是誰維護的？ 基於什么發行版的？
是騰訊內核和虛擬化團隊負責維護的。Tencent Linux 2.4 基於CentOS 7, 用戶態軟件包保持與最新版 CentOS 7 兼容，CentOS 7 版本的軟件包可以直接在 Tencent Linux 2.4 中使用
Tencent Linux跟CentOS有什么區別？
關鍵的區別在內核版本，本文后面會詳細介紹。 用戶態有少量調整，如 YUM 源的配置等，詳情請參考官方介紹文檔：https://cloud.tencent.com/document/product/213/38027
內核是什么版本？
Tencent Linux 2.4 目前是4.14內核。
代碼和 rpm 包在 GitHub 可以獲取： https://github.com/Tencent/TencentOS-kernel。
年底會推出5.4版本。
Tencent Linux跟TKE的Optimized鏡像是什么關系？
它們的內核是一樣的，但Tencent Linux 2.4 是CVM公共鏡像， TKE Optimized鏡像是市場鏡像。
TKE將使用Tencent Linux2.4來替代CentOS 7.6 TKE Optimized以及Ubuntu18.04 TKE Optimized。已經在使用CentOS 7.6 TKE Optimized和Ubuntu18.04 TKE Optimized的集群還可以繼續使用，但以后新建集群將不再支持這兩種鏡像。
預計11月下旬起，TKE用戶可以自行在控制台操作，將集群新創建的節點的OS鏡像切換為Tencent Linux2.4，操作入口如下圖(把操作系統修改為Tencent Linux2.4)：
相比 CentOS 和 Ubuntu 等發行版有什么優勢？
主要優勢如下， 后文會詳細介紹：
- 經過騰訊大量內部業務多年的驗證和打磨。
- 頂級內核專家團隊的支持。
- 包含一些關鍵的性能優化和針對容器場景的定制特性。
騰訊內部業務多年的驗證和打磨
Tencent Linux 從 2010 年啟動研發，在騰訊內部已經上線運營了 10 年，總部署量已經是百萬級，在騰訊內部 Linux 系統里占比 99%，覆蓋了騰訊所有的業務，同時騰訊有着國內最種類繁多的業務生態，從社交，游戲，到金融支付，AI, 安全等, 所以對底層操作系統的穩定性，性能，兼容性等都有更強的要求。
對於容器場景來講，騰訊大量核心業務幾乎已經部分或全部容器化，例如微信所有的邏輯業務全部容器化， 針對微信業務特點，進行系列優化，順利保障了每年春節的紅包高峰運營，同時在數據安全方面，也跟微信緊密合作，提供解決方案。
內核專家團隊的支持
目前有三十多位全職內核專家為這個內核版本提供支持。其中有 kvm 維護者，還有很多內核網絡，存儲，cgroup，調度等各個子系統的專家。
支持力度也體現在版本更新節奏和熱補丁服務。
從版本記錄(https://github.com/Tencent/TencentOS-kernel/releases) 可以看到，從 7 月到 10 月， Tencent Linux 4.14 內核系列發布了 5 個版本。騰訊內部業務和騰訊雲外部客戶碰到的絕大多數問題，都能及時得到定位和修復。
另外我們針對一些重要的修復，會提供內核熱補丁的在線修復方式。熱補丁的安裝和生效，不需要重啟機器，在不中斷客戶業務的情況下，提升客戶業務的時延 SLA。
對於漏洞修復，Tencent Linux 有着全套的熱補丁方案，包括：應用程序級熱補丁，內核級熱補丁等。每年發布 100 多個熱補丁。 大多數漏洞在一周內提供修復方案。
性能優化
Tecent Linux 在根據內部與外部的用戶在大規模落地實踐中遇到的問題，針對容器場景也做了大量性能優化，包括但不限於:
- 解決 IPVS 模式高並發場景下，連接復用引發連接異常的問題 (#81775)。
- 解決 IPVS 模式在高配節點 (核數多) 下 IPVS 規則過多引發網絡毛刺的問題。
- 解決在容器密集場景下(單節點上容器數量較多)，cAdvisor 讀取 memcg 陷入內核態過久引發網絡毛刺的問題。
- 解決大 Pod (占用核數多，單核占用高) 在高配節點 (核數多) 場景下，CPU 負載均衡引發網絡毛刺的問題。
- 解決高並發場景下的 TCP 連接監控(比如單獨部署 cAdvisor 配置監控 TCP 連接) 引發網絡周期性抖動問題。
- 優化網絡收包軟中斷，提升網絡性能。
這些針對各種容器場景的優化效果非常顯著，以第 3 點為例，ping 時延監控效果圖如下 (11:00 之后是優化后):
容器定制特性
容器資源展示隔離
很多 golang, java 程序的高效運行依賴於正確獲取進程可用的 CPU 和內存資源。但這類程序在容器中獲取到的是節點的 CPU 和內存資源， 與實際容器所分配的資源並不匹配，往往會造成進程的線程池等參數不合理，從而帶來問題。
社區主流的解決方案是通過部署 FUSE 實現的 LXCFS 來實現/proc/cpuinfo, /proc/meminfo等資源展示按容器隔離。這個方案需要在節點部署 LXCFS 文件系統， 也需要往 POD sepc 中插入相關 volume 和掛載點的配置。詳情可以參考：Kubernetes Demystified: Using LXCFS to Improve Container Resource Visibility
Tencnet Linux內核中實現了類似 LXCFS 特性，用戶無需在節點部署 LXCFS 文件系統， 也無需修改 POD spec。只需在節點開啟一個全局開關（sysctl -w kernel.stats_isolated=1）， 容器中讀取 /proc/cpuinfo, /proc/meminfo 等文件獲取的就是按容器隔離的，就是這么簡單。
另外，考慮到有些特殊容器， 比如節點監控組件， 可能就是需要讀取節點級的信息。為了解決這個問題，專門增加了容器級的開關kernel.container_stats_isolated。在主機級開關開啟的情況下，只需要在容器的啟動腳本里面，關閉容器級的開關(sysctl -w kernel.container_stats_isolated=0)，以后在這個容器里面讀取 /proc/cpuinfo, /proc/meminfo 等文件獲取的就是主機的信息了。(注： 容器級開關必須在容器中設置，才能對本容器生效)
請參考詳細使用文檔：容器內CPU、內存、進程、磁盤等信息隔離
更多內核參數的隔離
- net.ipv4.tcp_max_orphans
- net.ipv4.tcp_workaround_signed_windows
- net.ipv4.tcp_rmem
- net.ipv4.tcp_wmem
- vm.max_map_count
這些內核參數都是業務經常需要定制修改的。但是社區內核里面並沒有對這些參數做 namespace 化隔離。一個容器對以上參數的修改，會對主機以及所有其他容器都起作用。 Tencent Linux根據內外部客戶的需求，實現了這些內核參數的 namespace 化隔離，業務容器可以放心的對這些參數進行個性化設置而不用擔心對其他業務的干擾了。
容器缺省內核參數優化
在高並發的情況下，可能會發生半連接隊列滿而丟包， 可以通過調大 net.core.somaxconn 來緩解問題。但是容器網絡 namespace 里面的 net.core.somaxconn 缺省值只有 128，而且是代碼寫死的。 在 Tencent Linux 內核中，我們把這個缺省值調整到 4096， 從而可以減少高並發情況下半連接隊列滿的丟包問題。
在 TKE 如何使用 Tencent Linux
如果希望 TKE 集群的節點使用 Tencent Linux 的操作系統，需要在創建 TKE 集群時，操作系統選擇 Tencent Linux 的:
注: Tencent Linux 除了支持普通的雲服務器機型外，還支持黑石物理機與 Nvidia GPU 的機型。
參考資料
【騰訊雲原生】雲說新品、雲研新術、雲游新活、雲賞資訊，掃碼關注同名公眾號，及時獲取更多干貨！！
