成都創(chuàng)新互聯(lián)是一家專業(yè)提供東鄉(xiāng)企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計、成都網(wǎng)站設(shè)計、H5場景定制、小程序制作等業(yè)務(wù)。10年已為東鄉(xiāng)眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站設(shè)計公司優(yōu)惠進(jìn)行中。
容器化RDS：計算存儲分離架構(gòu)下的“Split-Brain”
容器化RDS：計算存儲分離還是本地存儲？
容器化RDS：你需要了解數(shù)據(jù)是如何被寫"壞"的
容器化RDS：借助 CSI 擴(kuò)展 Kubernetes 存儲能力
借助 CSI（Container Storage Interface），加上對 Kubenetes 核心代碼的少量修改，可以 out-tree 的方式高效且低耦合的方式擴(kuò)展 Kubenetes 存儲管理子模塊。
如《
容器化 RDS：借助 CSI 擴(kuò)展 Kubernetes 存儲能力
》介紹，以 out-tree 方式添加 PVC 擴(kuò)容（Resize）特性。
從可執(zhí)行程序到可用編程產(chǎn)品，還需要設(shè)計結(jié)合業(yè)務(wù)需求的性能基準(zhǔn)測試，并對發(fā)現(xiàn)的性能瓶頸進(jìn)行優(yōu)化。
經(jīng)驗(yàn)數(shù)據(jù)表明，相同功能的編程產(chǎn)品的成本，至少是已經(jīng)過測試的程序的三倍。 ——人月神話
本文將分享性能基準(zhǔn)測試的優(yōu)化案例：
批量創(chuàng)建100個讀寫模式為RWO，容量為1GiB 的 PVC
180秒內(nèi)全部創(chuàng)建成功并無報錯
所有的編程人員都是樂觀主義者，畢竟在可能出現(xiàn)問題的地方，一定都會遇到問題，在耗時 3600 秒后，95% 的 PVC 處于 Pending 狀態(tài)，嚴(yán)格的說，在批量創(chuàng)建的場景，該功能不可用。
大量 PVC 處于 Pending 狀態(tài)
| 定位問題組件
kube-apiserver
kube-controller-manager
kubelet
external-provisioner
external-attacher
csi-driver
qcfs-csi-plugin
組件之間調(diào)用復(fù)雜，再加上無處不在的協(xié)程（goroutine），如果直接查看日志或是 debug code 定位問題，猶如大海撈針，更不要說定位性能瓶頸。所以，首要工作是先定位到問題組件。
在測試過程中，我們記錄了所有組件和系統(tǒng)的資源使用情況，運(yùn)氣不佳，從 CPU 使用情況，內(nèi)存使用情況，網(wǎng)絡(luò) I/O 和磁盤 I/O 來看都沒有異常數(shù)據(jù)。
通過梳理存儲管理相關(guān)組件的架構(gòu)圖：
架構(gòu)圖
以及業(yè)務(wù)流程的梳理，kube-controller-manager、external-provisioner 和 csi-driver 嫌疑較大。
通過 kubelet logs 查看日志，可以在 external-provisioner 中發(fā)現(xiàn)可疑日志：
I0728 19:19:50.504069 1 request.go:480] Throttling request took 192.714335ms, request: POST:https://10.96.0.1:443/api/v1/namespaces/default/events
I0728 19:19:50.704033 1 request.go:480] Throttling request took 190.667675ms, request: POST:https://10.96.0.1:443/api/v1/namespaces/default/events
external-provisioner 訪問 kube-apiserver 觸發(fā)限流
external-provisioner 有重大嫌疑。
| 定位問題 code-path
我們可以立馬進(jìn)入調(diào)試環(huán)節(jié)：
閱讀 external-provisioner 代碼，加入調(diào)試日志，理解邏輯
不斷縮小 code-path
步驟 1、2持續(xù)迭代，直到最終定位到問題函數(shù)，這是非常有效的辦法。
采集堆棧樣本
找到在采樣手氣內(nèi)消耗 CPU 時間比率最高的函數(shù)，把該函數(shù)作為調(diào)試的起點(diǎn)
相比上一種，更高效的縮小問題的范圍，節(jié)省更多的時間。
借助模塊“net/http/pprof”，對 external-provisioner 進(jìn)行 60 秒的 CPU 采樣，可以獲得如下信息：
函數(shù)的調(diào)用關(guān)系以及采樣周期內(nèi) CPU 耗時百分比：
針對“net/http/pprof”稍微啰嗦幾句：
提供 CPU profile 和 Heap profile；
在采樣時獲得堆棧(幾乎所有)信息, 以此為依據(jù)估算整個采樣周期內(nèi)堆棧的CPU占用百分比, 并不是 100% 準(zhǔn)確；
采樣成本并不低，100赫茲既可以采樣夠用的堆棧信息，又不會給應(yīng)用程序帶來過大開銷；
CPU 采樣頻率默認(rèn)為 100 赫茲，并硬編碼到模塊中, 不建議調(diào)到 500 赫茲以上。
網(wǎng)上已經(jīng)有大量的相關(guān)文章，這里不贅述。
配合獲取的 CPU profile 信息生成火焰圖（Flame Graph）：
網(wǎng)上已經(jīng)有大量的相關(guān)文章，這里不贅述。
可以發(fā)現(xiàn)函數(shù) addClaim 和 lockProvisionClaimOperation 的 CPU 占用比率達(dá)到 36.23%。
來自于 external-provisioner 調(diào)用的第三方模塊 kubenetes-incubator/external-storage
所以，只要引用例如了模塊 Kubenetes-incubator/external-storage 實(shí)現(xiàn)卷創(chuàng)建功能，都可以復(fù)現(xiàn) api throttling。
再針對性的加入調(diào)試日志到 code-path 中，理解邏輯，很快可以確定問題：
在創(chuàng)建卷時，external-storage 需要訪問 API 資源（譬如 configmap、pvc、pv、event、secrets、storageclass 等），為減少 kube-apiserver 工作負(fù)荷，不建議直接訪問 kube-apiserver，而應(yīng)該利用本地緩存（由 informer cache 構(gòu)建）。但 external-storage 恰好直接訪問 kube-apiserver。通過下圖可以看到，有18.84%的采樣時間在 list event，這是導(dǎo)致 api throttling 的原因。
進(jìn)一步分析，之所以有大量的 list event 是因?yàn)?Leader Election 的 Lock 實(shí)現(xiàn)粒度太細(xì)導(dǎo)致鎖搶占嚴(yán)重。生產(chǎn)環(huán)境中，一個組件會啟動多個實(shí)例，搶占到 Leader Lock 的實(shí)例即為 Leader 并對外提供服務(wù)，其他實(shí)例以 Slave 模式運(yùn)行，一旦 Leader 出現(xiàn)問題，Slave 發(fā)現(xiàn) Leader Lock 在租期內(nèi)沒有更新即可發(fā)起搶占成為新的 Leader 并接管服務(wù)。這樣不僅提升了組件的可用性也避免了可能帶來的 data race 問題。所以可以理解成是一個組件實(shí)例一把鎖，并且只在 Leader 和 Slave 角色切換時才會重新選主，但 external-storage 原意為了提升并發(fā)度，運(yùn)行多個實(shí)例同時為 Leader 提供服務(wù)，可以簡單理解成一個 PVC 一把鎖，100 PVC 就意味著多個實(shí)例要最少發(fā)生100次的 Lock 搶占。
Lock 的搶占導(dǎo)致 api throttling，引發(fā) Lock 搶占 timeout，timeout 后搶占重試，進(jìn)一步惡化 api throttling。
從下圖可以進(jìn)一步得到驗(yàn)證，有 8.7% 的采樣時間在進(jìn)行 Leader Election。
| 解決問題
一旦發(fā)現(xiàn)問題的根源，解決它反而是件不難的事情。后面針對該問題做了修復(fù)：
采用 sharedinformer cache
修改 Leader Lock 粒度
再次生成運(yùn)行，可以發(fā)現(xiàn)函數(shù) addClaim 和 lockProvisionClaimOperation 的 CPU 占用百分比下降到 13.95%。
external-provisioner 日志中的 throttling 關(guān)鍵字消失
100 PVC 的時間縮短到60秒以內(nèi)全部創(chuàng)建成功，無任何報錯。
| 結(jié)語
對于終端用戶而言，交互的界面越來越簡單，但對于開發(fā)者而言，組件越來越多，編譯一次的時間越來越久，加上無處不在的并發(fā)，導(dǎo)致定位問題的難度越來越大，尤其是性能問題。所以，對體系架構(gòu)的理解能幫我們快速鎖定問題組件，配合 Profile 工具和 Flame Graph 快速定位 code-path，再加上對業(yè)務(wù)邏輯的理解找到解決方案。
所有的編程人員都是樂觀主義者，無論是什么樣的程序，結(jié)果是勿庸置疑的："這次它肯定會運(yùn)行。" 或者 "我剛剛找出了最后一個問題。" ——人月神話
| 作者簡介
熊中哲·沃趣科技聯(lián)合創(chuàng)始人
曾就職于阿里巴巴和百度，超過10年關(guān)系型數(shù)據(jù)庫工作經(jīng)驗(yàn)，目前致力于將云原生技術(shù)引入到關(guān)系型數(shù)據(jù)庫服務(wù)中。
網(wǎng)站標(biāo)題：容器化RDS：借助火焰圖定位Kubernetes性能問題
文章地址：
http://weahome.cn/article/jgocee.html
重慶分公司
重慶分公司
