工作需要接觸到j(luò)storm JStorm集群包含兩類節(jié)點(diǎn):主控節(jié)點(diǎn)(Nimbus)和工作節(jié)點(diǎn)(Suprvisor)
成都創(chuàng)新互聯(lián)公司是一家專注于成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作和德陽(yáng)機(jī)房服務(wù)器托管的網(wǎng)絡(luò)公司,有著豐富的建站經(jīng)驗(yàn)和案例。先了解他是干什么的
分布式實(shí)時(shí)計(jì)算引擎,就是你給他數(shù)據(jù),按照你編寫(xiě)的規(guī)則,他處理完
標(biāo)準(zhǔn)解釋:用戶按照規(guī)定的變成規(guī)范實(shí)現(xiàn)一個(gè)任務(wù),將任務(wù)放到j(luò)storm上,jstorm就將任務(wù)7*24小時(shí)調(diào)度起來(lái)
優(yōu)點(diǎn):開(kāi)發(fā)非常迅速,容易上手,就像有水龍頭 -》污水池處理 --》下游
擴(kuò)展性極好,一個(gè)worker壞了調(diào)度器nimbus會(huì)馬上分配另外一個(gè)
準(zhǔn)確性比較高,采用了acker機(jī)制,保證數(shù)據(jù)不丟失,
使用場(chǎng)景:日志分析,管道系統(tǒng),消息轉(zhuǎn)化,統(tǒng)計(jì)分析
這幾個(gè)術(shù)語(yǔ)要知道
角色 作用
Nimbus 調(diào)度器 分配任務(wù)的
Supervisor Worker的代理角色,負(fù)責(zé)Kill掉Worker和運(yùn)行Worker 污水池處理的
Worker Task的容器 工人
Task 任務(wù)的執(zhí)行者 工人
ZooKeeper 系統(tǒng)的協(xié)調(diào)者 系統(tǒng)協(xié)調(diào)者
stream 流 流是一個(gè)無(wú)間斷的連續(xù)的tuple元值,
spout 原始元祖的源頭,就像是水龍頭,這個(gè)可能是消息中間件如MQ,Kafka,TBNofity 不間斷發(fā)出消息
有了源頭,有了tuple,拿著這些數(shù)據(jù)的處理過(guò)程就是Bolt
Bolt 消費(fèi)任意數(shù)量的輸入流,污水池 ,
你的spout打開(kāi)了,想得到那種類型的水就打開(kāi)那種類型的Bolt,處理完就會(huì)再進(jìn)行下一步處理或者流向別的容器
Tuple value list 值列表
Topology 有向無(wú)環(huán)圖即拓?fù)?,一個(gè)拓?fù)渚褪且粋€(gè)數(shù)據(jù)流轉(zhuǎn)圖,途中標(biāo)注每一個(gè)節(jié)點(diǎn)是一個(gè)spout還是bolt,把元祖數(shù)據(jù)發(fā)送到那個(gè)bolt,
worker和task
worker表示一個(gè)進(jìn)程,tash表示一個(gè)線程,一個(gè)進(jìn)程對(duì)應(yīng)多個(gè)線程,
Supervisor是JStorm中的工作節(jié)點(diǎn),類似于MR的TT,subscribe zookeeper的任務(wù)調(diào)度結(jié)果數(shù)據(jù),根據(jù)任務(wù)調(diào)度情況啟動(dòng)/停止工作進(jìn)程Worker。同時(shí)Supervisor需要定期向zookeeper寫(xiě)入活躍端口信息以便Nimbus監(jiān)控。Supervisor不執(zhí)行具體處理工作,所有的計(jì)算任務(wù)都交Worker完成。從整個(gè)架構(gòu)上看,Supervisor處在整個(gè)JStorm三級(jí)管理架構(gòu)的中間環(huán)節(jié),輔助管理任務(wù)調(diào)度和資源管理工作。
Supervisor單節(jié)點(diǎn)架構(gòu)如上圖所示,初始化時(shí)啟動(dòng)進(jìn)程Supervisor,根據(jù)Nimbus分配的任務(wù)情況觸發(fā)啟動(dòng)/停用Worker JVM進(jìn)程,其中每個(gè)Worker進(jìn)程啟動(dòng)一個(gè)或多個(gè)Task線程,其中Task須同屬單個(gè)Topology。從整個(gè)Supervisor節(jié)點(diǎn)來(lái)看運(yùn)行多個(gè)JVM進(jìn)程,包括一個(gè)Supervisor進(jìn)程和一個(gè)或多個(gè)Worker進(jìn)程。
不同角色狀態(tài)通過(guò)不同的方式維護(hù)。其中Task通過(guò)hb直接將包括時(shí)間信息和當(dāng)前Task的統(tǒng)計(jì)信息寫(xiě)到zookeeper;Worker定期將包括Topology id,端口,Task id集合及當(dāng)前時(shí)間寫(xiě)入本地;Supervisor定期將包括時(shí)間及節(jié)點(diǎn)資源(端口集合)寫(xiě)到zookeeper,同時(shí)從zookeeper讀取任務(wù)調(diào)度結(jié)果,根據(jù)結(jié)果啟動(dòng)/停用Worker進(jìn)程。
記住這個(gè)圖片基本上沒(méi)什么打的困難了入門了就,
了解這個(gè)也得知道一個(gè)流的概念,就是水龍頭 -》污水池處理 --》下游
這個(gè)鏈接比較形象https://www.cnblogs.com/smartloli/p/4810362.html
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。