容器場景要選擇什么Linux版本,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個問題。
我們提供的服務有:網(wǎng)站設計、成都網(wǎng)站制作、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、海州ssl等。為千余家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務,是有科學管理、有技術的海州網(wǎng)站制作公司
容器的底層實現(xiàn)深度依賴于內核的眾多特性,如 overlay 文件系統(tǒng),namespace, cgroup 等,因此內核的功能和穩(wěn)定性,在很大程度上,決定了整個容器PaaS平臺的功能和穩(wěn)定性。從 TKE 上線三年多以來,上萬集群,數(shù)十萬個節(jié)點的運營經驗來看,內核問題約占所有節(jié)點問題的三分之一。
那么容器場景選擇哪個Linux版本最好呢?在騰訊云,這個答案是 Tencent Linux。
這時候大家應該會有很多的疑問,接下來的 FAQ 會盡力解答大家的疑問。
是騰訊內核和虛擬化團隊負責維護的。Tencent Linux 2.4 基于CentOS 7, 用戶態(tài)軟件包保持與最新版 CentOS 7 兼容,CentOS 7 版本的軟件包可以直接在 Tencent Linux 2.4 中使用
關鍵的區(qū)別在內核版本,本文后面會詳細介紹。 用戶態(tài)有少量調整,如 YUM 源的配置等,詳情請參考官方介紹文檔:https://cloud.tencent.com/document/product/213/38027
Tencent Linux 2.4 目前是4.14內核。 代碼和 rpm 包在 GitHub 可以獲?。?https://github.com/Tencent/TencentOS-kernel。 年底會推出5.4版本。
它們的內核是一樣的,但Tencent Linux 2.4 是CVM公共鏡像, TKE Optimized鏡像是市場鏡像。
TKE將使用Tencent Linux2.4
來替代CentOS 7.6 TKE Optimized
以及Ubuntu18.04 TKE Optimized
。已經在使用CentOS 7.6 TKE Optimized
和Ubuntu18.04 TKE Optimized
的集群還可以繼續(xù)使用,但以后新建集群將不再支持這兩種鏡像。
預計11月下旬起,TKE用戶可以自行在控制臺操作,將集群新創(chuàng)建的節(jié)點的OS鏡像切換為Tencent Linux2.4
,操作入口如下圖(把操作系統(tǒng)修改為Tencent Linux2.4
):
主要優(yōu)勢如下, 后文會詳細介紹:
經過騰訊大量內部業(yè)務多年的驗證和打磨。
頂級內核專家團隊的支持。
包含一些關鍵的性能優(yōu)化和針對容器場景的定制特性。
Tencent Linux 從 2010 年啟動研發(fā),在騰訊內部已經上線運營了 10 年,總部署量已經是百萬級,在騰訊內部 Linux 系統(tǒng)里占比 99%,覆蓋了騰訊所有的業(yè)務,同時騰訊有著國內最種類繁多的業(yè)務生態(tài),從社交,游戲,到金融支付,AI, 安全等, 所以對底層操作系統(tǒng)的穩(wěn)定性,性能,兼容性等都有更強的要求。
對于容器場景來講,騰訊大量核心業(yè)務幾乎已經部分或全部容器化,例如微信所有的邏輯業(yè)務全部容器化, 針對微信業(yè)務特點,進行系列優(yōu)化,順利保障了每年春節(jié)的紅包高峰運營,同時在數(shù)據(jù)安全方面,也跟微信緊密合作,提供解決方案。
目前有三十多位全職內核專家為這個內核版本提供支持。其中有 kvm 維護者,還有很多內核網(wǎng)絡,存儲,cgroup,調度等各個子系統(tǒng)的專家。
支持力度也體現(xiàn)在版本更新節(jié)奏和熱補丁服務。
從版本記錄(https://github.com/Tencent/TencentOS-kernel/releases) 可以看到,從 7 月到 10 月, Tencent Linux 4.14 內核系列發(fā)布了 5 個版本。騰訊內部業(yè)務和騰訊云外部客戶碰到的絕大多數(shù)問題,都能及時得到定位和修復。
另外我們針對一些重要的修復,會提供內核熱補丁的在線修復方式。熱補丁的安裝和生效,不需要重啟機器,在不中斷客戶業(yè)務的情況下,提升客戶業(yè)務的時延 SLA。
對于漏洞修復,Tencent Linux 有著全套的熱補丁方案,包括:應用程序級熱補丁,內核級熱補丁等。每年發(fā)布 100 多個熱補丁。 大多數(shù)漏洞在一周內提供修復方案。
Tecent Linux 在根據(jù)內部與外部的用戶在大規(guī)模落地實踐中遇到的問題,針對容器場景也做了大量性能優(yōu)化,包括但不限于:
解決 IPVS 模式高并發(fā)場景下,連接復用引發(fā)連接異常的問題 (#81775)。
解決 IPVS 模式在高配節(jié)點 (核數(shù)多) 下 IPVS 規(guī)則過多引發(fā)網(wǎng)絡毛刺的問題。
解決在容器密集場景下(單節(jié)點上容器數(shù)量較多),cAdvisor 讀取 memcg 陷入內核態(tài)過久引發(fā)網(wǎng)絡毛刺的問題。
解決大 Pod (占用核數(shù)多,單核占用高) 在高配節(jié)點 (核數(shù)多) 場景下,CPU 負載均衡引發(fā)網(wǎng)絡毛刺的問題。
解決高并發(fā)場景下的 TCP 連接監(jiān)控(比如單獨部署 cAdvisor 配置監(jiān)控 TCP 連接) 引發(fā)網(wǎng)絡周期性抖動問題。
優(yōu)化網(wǎng)絡收包軟中斷,提升網(wǎng)絡性能。
這些針對各種容器場景的優(yōu)化效果非常顯著,以第 3 點為例,ping 時延監(jiān)控效果圖如下 (11:00 之后是優(yōu)化后):
很多 golang, java 程序的高效運行依賴于正確獲取進程可用的 CPU 和內存資源。但這類程序在容器中獲取到的是節(jié)點的 CPU 和內存資源, 與實際容器所分配的資源并不匹配,往往會造成進程的線程池等參數(shù)不合理,從而帶來問題。
社區(qū)主流的解決方案是通過部署 FUSE 實現(xiàn)的 LXCFS 來實現(xiàn)/proc/cpuinfo, /proc/meminfo等資源展示按容器隔離。這個方案需要在節(jié)點部署 LXCFS 文件系統(tǒng), 也需要往 POD sepc 中插入相關 volume 和掛載點的配置。詳情可以參考:Kubernetes Demystified: Using LXCFS to Improve Container Resource Visibility
Tencnet Linux內核中實現(xiàn)了類似 LXCFS 特性,用戶無需在節(jié)點部署 LXCFS 文件系統(tǒng), 也無需修改 POD spec。只需在節(jié)點開啟一個全局開關(sysctl -w kernel.stats_isolated=1
), 容器中讀取 /proc/cpuinfo, /proc/meminfo 等文件獲取的就是按容器隔離的,就是這么簡單。
另外,考慮到有些特殊容器, 比如節(jié)點監(jiān)控組件, 可能就是需要讀取節(jié)點級的信息。為了解決這個問題,專門增加了容器級的開關kernel.container_stats_isolated
。在主機級開關開啟的情況下,只需要在容器的啟動腳本里面,關閉容器級的開關(sysctl -w kernel.container_stats_isolated=0
),以后在這個容器里面讀取 /proc/cpuinfo, /proc/meminfo 等文件獲取的就是主機的信息了。(注: 容器級開關必須在容器中設置,才能對本容器生效)
請參考詳細使用文檔:容器內CPU、內存、進程、磁盤等信息隔離
net.ipv4.tcp_max_orphans
net.ipv4.tcp_workaround_signed_windows
net.ipv4.tcp_rmem
net.ipv4.tcp_wmem
vm.max_map_count
這些內核參數(shù)都是業(yè)務經常需要定制修改的。但是社區(qū)內核里面并沒有對這些參數(shù)做 namespace 化隔離。一個容器對以上參數(shù)的修改,會對主機以及所有其他容器都起作用。 Tencent Linux根據(jù)內外部客戶的需求,實現(xiàn)了這些內核參數(shù)的 namespace 化隔離,業(yè)務容器可以放心的對這些參數(shù)進行個性化設置而不用擔心對其他業(yè)務的干擾了。
在高并發(fā)的情況下,可能會發(fā)生半連接隊列滿而丟包, 可以通過調大 net.core.somaxconn
來緩解問題。但是容器網(wǎng)絡 namespace 里面的 net.core.somaxconn
缺省值只有 128,而且是代碼寫死的。 在 Tencent Linux 內核中,我們把這個缺省值調整到 4096, 從而可以減少高并發(fā)情況下半連接隊列滿的丟包問題。
如果希望 TKE 集群的節(jié)點使用 Tencent Linux 的操作系統(tǒng),需要在創(chuàng)建 TKE 集群時,操作系統(tǒng)選擇 Tencent Linux
的:
注:Tencent Linux 除了支持普通的云服務器機型外,還支持黑石物理機與 Nvidia GPU 的機型。
看完上述內容,你們掌握容器場景要選擇什么Linux版本的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!