真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么

這篇文章給大家介紹連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。

創(chuàng)新互聯(lián)建站是一家專注網(wǎng)站建設、網(wǎng)絡營銷策劃、微信小程序、電子商務建設、網(wǎng)絡推廣、移動互聯(lián)開發(fā)、研究、服務為一體的技術型公司。公司成立十多年以來,已經為上千多家成都服務器租用各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務。現(xiàn)在,服務的上千多家客戶與我們一路同行,見證我們的成長;未來,我們一起分享成功的喜悅。

1.背景

像之前的大數(shù)據(jù)環(huán)境等都是通過Docker來搭建的,無論是在學習,測試,遷移時候無疑是最快的方式,尤其是在多個環(huán)境下還想使用同一套環(huán)境時候,https://github.com/hulichao/docker-bigdata,搭建思路,可以參考本倉庫,一般情況下只要注意比虛擬機要多做個端口映射等,端口映射也即網(wǎng)絡方面,其實是相對冗余的,所以在搭建kafka的環(huán)境時候正好遇到了下面的問題,如下圖connection to node 0 colud not be establised. Broker may not be avaliable

連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么

kafka連不上broker,在虛擬機的機器上沒問題,但是本地使用idea連接是有問題的。

2.思路

是事后寫的博客,所以當時的一些排查問題的截圖,不一一貼出來了,只簡述一下過程和最終解決,以及引出kafka對內外網(wǎng)隔離時候的解決方式

2.1 首先排查各種網(wǎng)絡問題

比如虛擬機網(wǎng)絡,使用ping www.baidu.com 再檢查端口使用telnet linux121 9092 發(fā)現(xiàn)都沒有問題,另外查了Docker的虛擬網(wǎng)卡,可以參考另外一篇文章,https://blog.csdn.net/hu_lichao/article/details/109538567,發(fā)現(xiàn)也沒有問題

2.2 然后開始考慮是Kafka的問題

本來沒有往這個方向想,最后只好借助google, 輸入關鍵字 kafka docker idea 連不上Broker ,如下圖

連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么

然后參考第一條,讀取關鍵的信息:Kafka的客戶端(生產者與消費者統(tǒng)稱)要連接 Broker 需要經過一層認證,不通過認證就無法連接! 然后繼續(xù)往下讀,客戶端連接Kafka需要兩層認證,其一是Zk上的Broker中的advertised.listeners 配置的連接和端口,注意:這里較坑的一點就是,必須原樣比對 PLAINTEXT 中的內容要和Java程序中的要對應,即不考慮你是怎么拿到虛擬機中的Docker中的kafka的連接,總之你要發(fā)送的bootstrap.servers 的內容要和PLAINTEXT 要一致,這就需要配置linux121 的hosts,映射到實際的ip和端口了。

java代碼

連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么

zk獲取broker信息

連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么

kafka的server.properties的配置

連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么

3.Kafka的內外網(wǎng)參數(shù)

根據(jù)前面的排查問題,有兩個重要參數(shù),listenersadvertise.listeners 那這兩個參數(shù)是做什么用的呢,這里拿來官方的翻譯,

用于指定當前Broker向外發(fā)布服務的地址和端口。與 advertised.listeners 配合,用于做內外網(wǎng)隔離。

下面介紹幾個相關參數(shù):

listener.security.protocol.map

內外網(wǎng)隔離配置:監(jiān)聽器名稱和安全協(xié)議的映射配置。比如,可以將內外網(wǎng)隔離,即使它們都使用SSL。listener.security.protocol.map=INTERNAL:SSL,EXTERNAL:SSL 注意,每個監(jiān)聽器的名稱只能在map中出現(xiàn)一次。 inter.broker.listener.name

用于配置broker之間通信使用的監(jiān)聽器名稱,該名稱必須在advertised.listeners列表中。例如inter.broker.listener.name=EXTERNAL listeners

用于配置broker監(jiān)聽的URI以及監(jiān)聽器名稱列表,使用逗號隔開多個URI及監(jiān)聽器名稱。 如果監(jiān)聽器名稱代表的不是安全協(xié)議,必須配置listener.security.protocol.map。 每個監(jiān)聽器必須使用不同的網(wǎng)絡端口。 advertised.listeners 需要將該地址發(fā)布到zookeeper供客戶端使用,如果客戶端使用的地址與listeners配置不同。 可以在zookeeper的 get /brokers/ids/<broker.id> 中找到。

在IaaS環(huán)境,該條目的網(wǎng)絡接口得與broker綁定的網(wǎng)絡接口不同。 如果不設置此條目,就使用listeners的配置。跟listeners不同,該條目不能使用0.0.0.0網(wǎng)絡端口。 advertised.listeners的地址必須是listeners中配置的或配置的一部分。

注意:INTERNAL 和 EXTERNAL的作用就是相當于給PLAINTEXT協(xié)議起了兩個別名,默認map中只能有一個同名的協(xié)議,故分開寫

下面是一個典型的常用配置:

連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么

關于連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。


本文名稱:連接不上Docker-Kafka-broker及Kafka解決內網(wǎng)外網(wǎng)隔離的幾個重要參數(shù)分別是什么
文章起源:http://weahome.cn/article/ipigji.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部