想入門一下Kafka的(裝一下環(huán)境、看看Kafka一些概念啥的)。后來發(fā)現(xiàn)Kafka用到了ZooKeeper,而我又對(duì)ZooKeeper不了解,所以想先來學(xué)學(xué)什么是ZooKeeper,再去看看什么是Kafka。
創(chuàng)新互聯(lián)公司主要從事網(wǎng)頁(yè)設(shè)計(jì)、PC網(wǎng)站建設(shè)(電腦版網(wǎng)站建設(shè))、wap網(wǎng)站建設(shè)(手機(jī)版網(wǎng)站建設(shè))、響應(yīng)式網(wǎng)站、程序開發(fā)、網(wǎng)站優(yōu)化、微網(wǎng)站、微信小程序開發(fā)等,憑借多年來在互聯(lián)網(wǎng)的打拼,我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)、網(wǎng)絡(luò)營(yíng)銷經(jīng)驗(yàn),集策劃、開發(fā)、設(shè)計(jì)、營(yíng)銷、管理等多方位專業(yè)化運(yùn)作于一體。
ZooKeeper相信大家已經(jīng)聽過這個(gè)詞了,不知道大家對(duì)他了解多少呢?我第一次聽到ZooKeeper的時(shí)候是在學(xué)Eureka的時(shí)候,同樣ZooKeeper也可以作為注冊(cè)中心。
后面聽到ZooKeeper的時(shí)候,是因?yàn)閆ooKeeper可以作為分布式鎖的一種實(shí)現(xiàn)。
直至在了解Kafka的時(shí)候,發(fā)現(xiàn)Kafka也需要依賴ZooKeeper。Kafka使用ZooKeeper管理自己的元數(shù)據(jù)配置。
這篇文章來寫寫我學(xué)習(xí)ZooKeeper的筆記,如果有錯(cuò)的地方希望大家可以在評(píng)論區(qū)指出。
從上面我們也可以發(fā)現(xiàn),好像哪都有ZooKeeper的身影,那什么是ZooKeeper呢?我們先去官網(wǎng)看看介紹:
官網(wǎng)還有另一段話:
ZooKeeper:?A?Distributed?Coordination?Service?for?Distributed?Applications
相比于官網(wǎng)的介紹,我其實(shí)更喜歡Wiki中對(duì)ZooKeeper的介紹:
(留下不懂英語的淚水)
我簡(jiǎn)單概括一下:
ZooKeeper主要服務(wù)于分布式系統(tǒng),可以用ZooKeeper來做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
從上面我們可以知道,可以用ZooKeeper來做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理
每個(gè)具體的含義(后面會(huì)講)那為什么ZooKeeper可以干那么多事?來看看ZooKeeper究竟是何方神物,在Wiki中其實(shí)也有提到:
ZooKeeper nodes store their data in a hierarchical name space, much like a file system or a tree data structure
ZooKeeper的數(shù)據(jù)結(jié)構(gòu),跟Unix文件系統(tǒng)非常類似,可以看做是一顆樹,每個(gè)節(jié)點(diǎn)叫做ZNode。每一個(gè)節(jié)點(diǎn)可以通過路徑來標(biāo)識(shí),結(jié)構(gòu)圖如下:
那ZooKeeper這顆"樹"有什么特點(diǎn)呢??ZooKeeper的節(jié)點(diǎn)我們稱之為Znode,Znode分為兩種類型:
短暫/臨時(shí)(Ephemeral):當(dāng)客戶端和服務(wù)端斷開連接后,所創(chuàng)建的Znode(節(jié)點(diǎn))會(huì)自動(dòng)刪除
ZooKeeper和redis一樣,也是C/S結(jié)構(gòu)(分成客戶端和服務(wù)端)
在上面我們已經(jīng)簡(jiǎn)單知道了ZooKeeper的數(shù)據(jù)結(jié)構(gòu)了,ZooKeeper還配合了監(jiān)聽器才能夠做那么多事的。
常見的監(jiān)聽場(chǎng)景有以下兩項(xiàng):
監(jiān)聽Znode節(jié)點(diǎn)的數(shù)據(jù)變化
沒錯(cuò),通過監(jiān)聽+Znode節(jié)點(diǎn)(持久/短暫[臨時(shí)]),ZooKeeper就可以玩出這么多花樣了。
下面我們來看看用ZooKeeper怎么來做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
比如我們現(xiàn)在有三個(gè)系統(tǒng)A、B、C,他們有三份配置,分別是ASystem.yml、BSystem.yml、CSystem.yml
,然后,這三份配置又非常類似,很多的配置項(xiàng)幾乎都一樣。
于是,我們希望把ASystem.yml、BSystem.yml、CSystem.yml
相同的配置項(xiàng)抽取出來成一份公用的配置common.yml
,并且即便common.yml
改了,也不需要系統(tǒng)A、B、C重啟。
做法:我們可以將common.yml
這份配置放在ZooKeeper的Znode節(jié)點(diǎn)中,系統(tǒng)A、B、C監(jiān)聽著這個(gè)Znode節(jié)點(diǎn)有無變更,如果變更了,及時(shí)響應(yīng)。
參考資料:
基于zookeeper實(shí)現(xiàn)統(tǒng)一配置管理
統(tǒng)一命名服務(wù)的理解其實(shí)跟域名一樣,是我們?yōu)檫@某一部分的資源給它取一個(gè)名字,別人通過這個(gè)名字就可以拿到對(duì)應(yīng)的資源。
比如說,現(xiàn)在我有一個(gè)域名www.java3y.com
,但我這個(gè)域名下有多臺(tái)機(jī)器:
192.168.1.1
192.168.1.2
192.168.1.3
別人訪問www.java3y.com
即可訪問到我的機(jī)器,而不是通過IP去訪問。
我們可以使用ZooKeeper來實(shí)現(xiàn)分布式鎖,那是怎么做的呢??下面來看看:
系統(tǒng)A、B、C都去訪問/locks
節(jié)點(diǎn)
訪問的時(shí)候會(huì)創(chuàng)建帶順序號(hào)的臨時(shí)/短暫(EPHEMERAL_SEQUENTIAL
)節(jié)點(diǎn),比如,系統(tǒng)A創(chuàng)建了id_000000
節(jié)點(diǎn),系統(tǒng)B創(chuàng)建了id_000002
節(jié)點(diǎn),系統(tǒng)C創(chuàng)建了id_000001
節(jié)點(diǎn)。
接著,拿到/locks
節(jié)點(diǎn)下的所有子節(jié)點(diǎn)(id_000000,id_000001,id_000002),判斷自己創(chuàng)建的是不是最小的那個(gè)節(jié)點(diǎn)
如果是,則拿到鎖。
釋放鎖:執(zhí)行完操作后,把創(chuàng)建的節(jié)點(diǎn)給刪掉
舉個(gè)例子:
系統(tǒng)A拿到/locks
節(jié)點(diǎn)下的所有子節(jié)點(diǎn),經(jīng)過比較,發(fā)現(xiàn)自己(id_000000
),是所有子節(jié)點(diǎn)最小的。所以得到鎖
系統(tǒng)B拿到/locks
節(jié)點(diǎn)下的所有子節(jié)點(diǎn),經(jīng)過比較,發(fā)現(xiàn)自己(id_000002
),不是所有子節(jié)點(diǎn)最小的。所以監(jiān)聽比自己小1的節(jié)點(diǎn)id_000001
的狀態(tài)
系統(tǒng)C拿到/locks
節(jié)點(diǎn)下的所有子節(jié)點(diǎn),經(jīng)過比較,發(fā)現(xiàn)自己(id_000001
),不是所有子節(jié)點(diǎn)最小的。所以監(jiān)聽比自己小1的節(jié)點(diǎn)id_000000
的狀態(tài)
……
等到系統(tǒng)A執(zhí)行完操作以后,將自己創(chuàng)建的節(jié)點(diǎn)刪除(id_000000
)。通過監(jiān)聽,系統(tǒng)C發(fā)現(xiàn)id_000000
節(jié)點(diǎn)已經(jīng)刪除了,發(fā)現(xiàn)自己已經(jīng)是最小的節(jié)點(diǎn)了,于是順利拿到鎖
經(jīng)過上面幾個(gè)例子,我相信大家也很容易想到ZooKeeper是怎么"感知"節(jié)點(diǎn)的動(dòng)態(tài)新增或者刪除的了。
還是以我們?nèi)齻€(gè)系統(tǒng)A、B、C為例,在ZooKeeper中創(chuàng)建臨時(shí)節(jié)點(diǎn)即可:
只要系統(tǒng)A掛了,那/groupMember/A
這個(gè)節(jié)點(diǎn)就會(huì)刪除,通過監(jiān)聽groupMember
下的子節(jié)點(diǎn),系統(tǒng)B和C就能夠感知到系統(tǒng)A已經(jīng)掛了。(新增也是同理)
除了能夠感知節(jié)點(diǎn)的上下線變化,ZooKeeper還可以實(shí)現(xiàn)動(dòng)態(tài)選舉Master的功能。(如果集群是主從架構(gòu)模式下)
原理也很簡(jiǎn)單,如果想要實(shí)現(xiàn)動(dòng)態(tài)選舉Master的功能,Znode節(jié)點(diǎn)的類型是帶順序號(hào)的臨時(shí)節(jié)點(diǎn)(EPHEMERAL_SEQUENTIAL
)就好了。
這篇文章主要講解了ZooKeeper的入門相關(guān)的知識(shí),ZooKeeper通過Znode的節(jié)點(diǎn)類型+監(jiān)聽機(jī)制就實(shí)現(xiàn)那么多好用的功能了!
當(dāng)然了,ZooKeeper要考慮的事沒那么簡(jiǎn)單的,后面有機(jī)會(huì)深入的話,我還會(huì)繼續(xù)分享,希望這篇文章對(duì)大家有所幫助~