介紹
Kafka是分布式發(fā)布-訂閱消息系統(tǒng)，最初由LinkedIn公司開發(fā)，之后成為之后成為Apache基金會的一部分，由Scala和Java編寫。Kafka是一種快速、可擴(kuò)展的、設(shè)計內(nèi)在就是分布式的，分區(qū)的和可復(fù)制的提交日志服務(wù)。

專注于為中小企業(yè)提供網(wǎng)站制作、成都網(wǎng)站設(shè)計服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)北海街道免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上千余家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

它與傳統(tǒng)系統(tǒng)相比，有以下不同：

它被設(shè)計為一個分布式系統(tǒng)，易于向外擴(kuò)展；
它同時為發(fā)布和訂閱提供高吞吐量；
它支持多訂閱者，當(dāng)失敗時能自動平衡消費(fèi)者；
它將消息持久化到磁盤，因此可用于批量消費(fèi)，例如ETL，以及實(shí)時應(yīng)用程序。
基礎(chǔ)概念
Broker：Kafka集群包含一個或多個服務(wù)器，這些服務(wù)器就是Broker
Topic：每條發(fā)布到Kafka集群的消息都必須有一個Topic
Partition：是物理概念上的分區(qū)，為了提供系統(tǒng)吞吐率，在物理上每個Topic會分成一個或多個Partition，每個Partition對應(yīng)一個文件夾
Producer：消息產(chǎn)生者，負(fù)責(zé)生產(chǎn)消息并發(fā)送到Kafka Broker
Consumer：消息消費(fèi)者，向kafka broker讀取消息并處理的客戶端。
Consumer Group：每個Consumer屬于一個特定的組，組可以用來實(shí)現(xiàn)一條消息被組內(nèi)多個成員消費(fèi)等功能。
安裝kakfka
從官網(wǎng)下載Kafka安裝包，解壓安裝，或直接使用命令下載。

`wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz``

解壓安裝

tar -zvxf kafka_2.11-1.0.0.tgz -C /usr/local/
d /usr/local/kafka_2.11-1.0.0/

修改配置文件

vim config/server.properties

修改其中

broker.id=1
log.dirs=data/kafka-logs

功能驗(yàn)證
啟動zookeeper
使用安裝包中的腳本啟動單節(jié)點(diǎn)Zookeeper實(shí)例：

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

啟動Kafka服務(wù)
使用kafka-server-start.sh啟動kafka服務(wù)：

bin/kafka-server-start.sh config/server.properties

創(chuàng)建Topic
使用kafka-topics.sh 創(chuàng)建但分區(qū)單副本的topic test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看Topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

產(chǎn)生消息
使用kafka-console-producer.sh 發(fā)送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消費(fèi)消息
使用kafka-console-consumer.sh 接收消息并在終端打印

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

刪除Topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

查看描述 Topic 信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

第一行給出了所有分區(qū)的摘要，每個附加行給出了關(guān)于一個分區(qū)的信息。 由于我們只有一個分區(qū)，所以只有一行。

“Leader”: 是負(fù)責(zé)給定分區(qū)的所有讀取和寫入的節(jié)點(diǎn)。 每個節(jié)點(diǎn)將成為分區(qū)隨機(jī)選擇部分的領(lǐng)導(dǎo)者。

“Replicas”: 是復(fù)制此分區(qū)日志的節(jié)點(diǎn)列表，無論它們是否是領(lǐng)導(dǎo)者，或者即使他們當(dāng)前處于活動狀態(tài)。

“Isr”: 是一組“同步”副本。這是復(fù)制品列表的子集，當(dāng)前活著并被引導(dǎo)到領(lǐng)導(dǎo)者。

集群配置
Kafka支持兩種模式的集群搭建：

單機(jī)多broker集群配置；
多機(jī)多broker集群配置。
單機(jī)多breoker
利用單節(jié)點(diǎn)部署多個broker。不同的broker不同的id，監(jiān)聽端口以及日志目錄，如：

將配置文件復(fù)制兩份

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties 

修改配置文件信息
vim config/server-1.properties
#修改內(nèi)容

broker.id=2
listeners=PLAINTEXT://your.host.name:9093
log.dirs=/data/kafka-logs-1

vim config/server-2.properties
#修改內(nèi)容

broker.id=3
listeners=PLAINTEXT://your.host.name:9094
log.dirs=/data/kafka-logs-2

啟動多個kafka服務(wù)

in/kafka-server-start.sh config/server-1.properties 

bin/kafka-server-start.sh config/server-2.properties

最后按照上面方法產(chǎn)生和消費(fèi)信息。
多機(jī)多broker
分別在多個節(jié)點(diǎn)按上述方式安裝Kafka，配置啟動多個Zookeeper 實(shí)例。如：192.168.18.130、192.168.18.131、192.168.18.132三臺機(jī)器

分別配置多個機(jī)器上的Kafka服務(wù) 設(shè)置不同的broke id，zookeeper.connect設(shè)置如下:

zookeeper.connect=192.168.18.130:2181,192.168.18.131:2181,192.168.18.132:2181

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享題目：CentOS7系統(tǒng)下Kafka安裝方法-創(chuàng)新互聯(lián)
本文來源：http://weahome.cn/article/spjji.html