這篇文章給大家介紹連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
創(chuàng)新互聯(lián)建站是一家專注網(wǎng)站建設、網(wǎng)絡營銷策劃、微信小程序、電子商務建設、網(wǎng)絡推廣、移動互聯(lián)開發(fā)、研究、服務為一體的技術型公司。公司成立十多年以來,已經為上千多家成都服務器租用各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務。現(xiàn)在,服務的上千多家客戶與我們一路同行,見證我們的成長;未來,我們一起分享成功的喜悅。
像之前的大數(shù)據(jù)環(huán)境等都是通過Docker來搭建的,無論是在學習,測試,遷移時候無疑是最快的方式,尤其是在多個環(huán)境下還想使用同一套環(huán)境時候,https://github.com/hulichao/docker-bigdata,搭建思路,可以參考本倉庫,一般情況下只要注意比虛擬機要多做個端口映射等,端口映射也即網(wǎng)絡方面,其實是相對冗余的,所以在搭建kafka的環(huán)境時候正好遇到了下面的問題,如下圖connection to node 0 colud not be establised. Broker may not be avaliable
kafka連不上broker,在虛擬機的機器上沒問題,但是本地使用idea連接是有問題的。
是事后寫的博客,所以當時的一些排查問題的截圖,不一一貼出來了,只簡述一下過程和最終解決,以及引出kafka對內外網(wǎng)隔離時候的解決方式
比如虛擬機網(wǎng)絡,使用ping www.baidu.com
再檢查端口使用telnet linux121 9092
發(fā)現(xiàn)都沒有問題,另外查了Docker的虛擬網(wǎng)卡,可以參考另外一篇文章,https://blog.csdn.net/hu_lichao/article/details/109538567,發(fā)現(xiàn)也沒有問題
本來沒有往這個方向想,最后只好借助google
, 輸入關鍵字 kafka docker idea 連不上Broker
,如下圖
然后參考第一條,讀取關鍵的信息:Kafka的客戶端(生產者與消費者統(tǒng)稱)要連接 Broker 需要經過一層認證,不通過認證就無法連接!
然后繼續(xù)往下讀,客戶端連接Kafka需要兩層認證,其一是Zk上的Broker中的advertised.listeners
配置的連接和端口,注意:這里較坑的一點就是,必須原樣比對 PLAINTEXT 中的內容要和Java程序中的要對應,即不考慮你是怎么拿到虛擬機中的Docker中的kafka的連接,總之你要發(fā)送的bootstrap.servers
的內容要和PLAINTEXT
要一致,這就需要配置linux121 的hosts,映射到實際的ip和端口了。
java代碼
zk獲取broker信息
kafka的server.properties的配置
根據(jù)前面的排查問題,有兩個重要參數(shù),listeners
和advertise.listeners
那這兩個參數(shù)是做什么用的呢,這里拿來官方的翻譯,
用于指定當前Broker向外發(fā)布服務的地址和端口。與 advertised.listeners 配合,用于做內外網(wǎng)隔離。
下面介紹幾個相關參數(shù):
listener.security.protocol.map
內外網(wǎng)隔離配置:監(jiān)聽器名稱和安全協(xié)議的映射配置。比如,可以將內外網(wǎng)隔離,即使它們都使用SSL。listener.security.protocol.map=INTERNAL:SSL,EXTERNAL:SSL
注意,每個監(jiān)聽器的名稱只能在map中出現(xiàn)一次。 inter.broker.listener.name
用于配置broker之間通信使用的監(jiān)聽器名稱,該名稱必須在advertised.listeners
列表中。例如inter.broker.listener.name=EXTERNAL
listeners
用于配置broker監(jiān)聽的URI以及監(jiān)聽器名稱列表,使用逗號隔開多個URI及監(jiān)聽器名稱。 如果監(jiān)聽器名稱代表的不是安全協(xié)議,必須配置listener.security.protocol.map
。 每個監(jiān)聽器必須使用不同的網(wǎng)絡端口。 advertised.listeners
需要將該地址發(fā)布到zookeeper供客戶端使用,如果客戶端使用的地址與listeners配置不同。 可以在zookeeper的 get /brokers/ids/<
broker.id
>
中找到。
在IaaS環(huán)境,該條目的網(wǎng)絡接口得與broker綁定的網(wǎng)絡接口不同。 如果不設置此條目,就使用listeners
的配置。跟listeners不同,該條目不能使用0.0.0.0
網(wǎng)絡端口。 advertised.listeners
的地址必須是listeners中配置的或配置的一部分。
注意:INTERNAL 和 EXTERNAL的作用就是相當于給PLAINTEXT協(xié)議起了兩個別名,默認map中只能有一個同名的協(xié)議,故分開寫
下面是一個典型的常用配置:
關于連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。