真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Kafka的安裝教程

這篇文章主要介紹“Kafka的安裝教程”,在日常操作中,相信很多人在Kafka的安裝教程問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Kafka的安裝教程”的疑惑有所幫助!接下來,請跟著小編一起來學(xué)習(xí)吧!

創(chuàng)新互聯(lián)專注于惠民網(wǎng)站建設(shè)服務(wù)及定制,我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供惠民營銷型網(wǎng)站建設(shè),惠民網(wǎng)站制作、惠民網(wǎng)頁設(shè)計、惠民網(wǎng)站官網(wǎng)定制、小程序設(shè)計服務(wù),打造惠民網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供惠民網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

1.Kafka基本術(shù)語
Producer :消息生產(chǎn)者,就是向kafka broker發(fā)消息的客戶端
Consumer :消息消費者,向kafka broker取消息的客戶端
Topic :話題,可以理解為一個隊列
Consumer Group (CG):這是kafka用來實現(xiàn)一個topic消息的廣播(發(fā)給所有的consumer)和單播(發(fā)給任意一個consumer)的手段。一個topic可以有多個CG。topic的消息會復(fù)制(不是真的復(fù)制,是概念上的)到所有的CG,但每個CG只會把消息發(fā)給該CG中的一個consumer。如果需要實現(xiàn)廣播,只要每個consumer有一個獨立的CG就可以了。要實現(xiàn)單播只要所有的consumer在同一個CG。用CG還可以將consumer進(jìn)行自由的分組而不需要多次發(fā)送消息到不同的topic。
Broker :一臺kafka服務(wù)器就是一個broker。一個集群由多個broker組成。一個broker可以容納多個topic。
Partition:為了實現(xiàn)擴(kuò)展性,一個非常大的topic可以分布到多個broker(即服務(wù)器)上,一個topic可以分為多個partition,每個partition是一個有序的隊列。 partition中的每條消息都會被分配一個有序的id(offset)。 kafka只保證按一個partition中的順序?qū)⑾l(fā)給consumer,不保證一個topic的整體(多個partition間)的順序。
Offset:kafka的存儲文件都是按照offset.kafka來命名,用offset做名字的好處是方便查找。例如你想找位于2049的位置,只要找到2048.kafka的文件即可。當(dāng)然the first offset就是00000000000.kafka

2.安裝Kafka
## 下載
[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
[grid@hadoop4 ~]$ tar -zxf kafka_2.11-0.8.2.1.tgz

## 修改$KAFKA_HOME/config/server.properties
[grid@hadoop4 ~]$ cd kafka_2.11-0.8.2.1
[grid@hadoop4 kafka_2.11-0.8.2.1]$ vim config/server.properties
## 主要是修改以下幾項配置:broker.id、port、host.name、log.dirs、zookeeper.connect
## zookeeper集群的安裝請參考http://my.oschina.net/zc741520/blog/399233

3.Kafka基本命令
啟動kafka bin/kafka-server-start.sh ./config/server.properties
創(chuàng)建topic bin/kafka-topics.sh --topic kafkaToptic --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partition 1
查看consumer bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic kafkaToptic --from-beginning
查看topic bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
生產(chǎn)消息 bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic kafkaToptic

4.啟動Kafka(需要先啟動Zookeeper)
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-server-start.sh ./config/server.properties &

5.創(chuàng)建名為apache_log的topic
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-topics.sh --topic apache_log --create --zookeeper hadoop4:2181 --replication-factor 1 --partition 1 &
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-topics.sh --list --zookeeper hadoop4:2181
apache_log

到此,關(guān)于“Kafka的安裝教程”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識,請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
網(wǎng)頁名稱:Kafka的安裝教程
網(wǎng)址分享:http://weahome.cn/article/gegspg.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部