Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析，相信很多沒有經(jīng)驗(yàn)的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。
創(chuàng)新互聯(lián)公司長期為成百上千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為丁青企業(yè)提供專業(yè)的成都做網(wǎng)站、網(wǎng)站制作，丁青網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。
Cruise Control是一個(gè)Kafka負(fù)載平衡組件，可以在大型Kafka集群中安裝使用。在添加或刪除Kafka代理時(shí)，Cruise Control可以根據(jù)特定條件自動平衡分區(qū)。
Cruise Control的體系結(jié)構(gòu)由負(fù)載監(jiān)控器、分析器、異常檢測器和執(zhí)行器組成，如下圖所示。
基于標(biāo)準(zhǔn)Kafka指標(biāo)和資源指標(biāo)生成集群工作負(fù)載模型，以利用磁盤、CPU、字節(jié)輸入速率和字節(jié)輸出速率。
將集群模型輸入到異常檢測器和分析器中。
根據(jù)用戶提供的優(yōu)化目標(biāo)以及來自Load Monitor的集群工作負(fù)載模型，生成優(yōu)化建議。
可以設(shè)定硬目標(biāo)和軟目標(biāo)。
必須實(shí)現(xiàn)硬目標(biāo)，而如果達(dá)到硬目標(biāo)，則軟目標(biāo)將無法實(shí)現(xiàn)。
如果優(yōu)化結(jié)果違反了硬目標(biāo)，則優(yōu)化將失敗。
| | | | | Cruise Control通過刪除故障的broker來修復(fù)集群。 |
| | 如果啟用了自我修復(fù)，Cruise Control會自動分析工作負(fù)載并執(zhí)行優(yōu)化建議。 |
| | 如果啟用了自我修復(fù)功能，則Cruise Control會將所有脫機(jī)副本移至正常代理。 |
| | 可能會先降級，如果異常仍然存在，請根據(jù)
self.healing.slow.brokers.removal.enabled配置刪除速度慢的broker 。 |
執(zhí)行優(yōu)化建議，執(zhí)行建議時(shí)可以安全地中斷它。
執(zhí)行始終是資源感知的過程。
Cruise Control使用Kafka存儲和檢索其指標(biāo)，該指標(biāo)由Metric Fetcher讀取。
在負(fù)載監(jiān)視器中，Metric Fetcher Manager負(fù)責(zé)協(xié)調(diào)所有采樣任務(wù)：Metric采樣任務(wù)，Bootstrap任務(wù)和線性模型訓(xùn)練任務(wù)。每個(gè)采樣任務(wù)都由配置數(shù)量的Metric Fetcher線程執(zhí)行。每個(gè)Metric Fetcher線程使用一個(gè)可插入的Metric Sampler來獲取樣本。每個(gè)Metric Fetcher都在集群中分配了幾個(gè)分區(qū)以獲取樣本。指標(biāo)標(biāo)準(zhǔn)樣本由指標(biāo)標(biāo)準(zhǔn)樣本聚合器組織，該指標(biāo)標(biāo)準(zhǔn)聚合器根據(jù)指標(biāo)標(biāo)準(zhǔn)樣本的時(shí)間戳將每個(gè)指標(biāo)標(biāo)準(zhǔn)樣本放入工作負(fù)載快照中。集群工作負(fù)載模型是負(fù)載監(jiān)視器的主要輸出。集群工作負(fù)載模型反映了集群的當(dāng)前副本分配，并提供了移動分區(qū)或副本的接口。分析器使用這些接口來生成優(yōu)化解決方案。樣本存儲區(qū)存儲指標(biāo)標(biāo)準(zhǔn)和訓(xùn)練樣本以供將來使用。借助指標(biāo)標(biāo)準(zhǔn)采樣器，您可以將Cruise Control部署到各種環(huán)境并與現(xiàn)有的指標(biāo)標(biāo)準(zhǔn)系統(tǒng)一起使用。在Cloudera環(huán)境中使用Cruise Control時(shí)，將
HttpMetricsReporter 指標(biāo)報(bào)告給Cloudera Manager時(shí)間序列數(shù)據(jù)庫。結(jié)果，可以使用Cloudera Manager讀取Kafka指標(biāo)。看完上述內(nèi)容，你們掌握Cruise Control增強(qiáng)Kafka負(fù)載均衡的示例分析的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！
當(dāng)前標(biāo)題：CruiseControl增強(qiáng)Kafka負(fù)載均衡的示例分析
鏈接地址：
http://weahome.cn/article/jsidoj.html
重慶分公司
重慶分公司
