Kafka的配置詳盡、復雜，想要進行全面的性能調(diào)優(yōu)需要掌握大量信息，這里只記錄一下我在日常工作使用中走過的坑和經(jīng)驗來對kafka集群進行優(yōu)化常用的幾點。

成都創(chuàng)新互聯(lián)是一家專注網(wǎng)站建設、網(wǎng)絡營銷策劃、重慶小程序開發(fā)、電子商務建設、網(wǎng)絡推廣、移動互聯(lián)開發(fā)、研究、服務為一體的技術型公司。公司成立十年以來，已經(jīng)為上1000家除甲醛各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務?，F(xiàn)在，服務的上1000家客戶與我們一路同行，見證我們的成長；未來，我們一起分享成功的喜悅。

1.JVM的優(yōu)化

  java相關系統(tǒng)自然離不開JVM的優(yōu)化。首先想到的肯定是Heap Size的調(diào)整。

vim bin/kafka-server-start.sh     
調(diào)整KAFKA_HEAP_OPTS="-Xmx16G -Xms16G”的值

推薦配置：一般HEAP SIZE的大小不超過主機內(nèi)存的50%。

2.網(wǎng)絡和ios操作線程配置優(yōu)化：

# broker處理消息的最大線程數(shù)
num.network.threads=9
# broker處理磁盤IO的線程數(shù)
num.io.threads=16

推薦配置：

num.network.threads主要處理網(wǎng)絡io，讀寫緩沖區(qū)數(shù)據(jù)，基本沒有io等待，配置線程數(shù)量為cpu核數(shù)加1。

num.io.threads主要進行磁盤io操作，高峰期可能有些io等待，因此配置需要大些。配置線程數(shù)量為cpu核數(shù)2倍，最大不超過3倍。

3.socket server可接受數(shù)據(jù)大小(防止OOM異常)：

socket.request.max.bytes=2147483600

推薦配置：

根據(jù)自己業(yè)務數(shù)據(jù)包的大小適當調(diào)大。這里取值是int類型的，而受限于java int類型的取值范圍又不能太大：

java int的取值范圍為（-2147483648~2147483647），占用4個字節(jié)（-2的31次方到2的31次方-1，不能超出，超出之后報錯：org.apache.kafka.common.config.ConfigException: Invalid value 8589934592 for configuration socket.request.max.bytes: Not a number of type INT。

4.log數(shù)據(jù)文件刷盤策略

# 每當producer寫入10000條消息時，刷數(shù)據(jù)到磁盤
log.flush.interval.messages=10000
# 每間隔1秒鐘時間，刷數(shù)據(jù)到磁盤
log.flush.interval.ms=1000

推薦配置：

為了大幅度提高producer寫入吞吐量，需要定期批量寫文件。一般無需改動，如果topic的數(shù)據(jù)量較小可以考慮減少log.flush.interval.ms和log.flush.interval.messages來強制刷寫數(shù)據(jù)，減少可能由于緩存數(shù)據(jù)未寫盤帶來的不一致。推薦配置分別message 10000，間隔1s。

5.日志保留策略配置

# 日志保留時長
log.retention.hours=72
# 段文件配置
log.segment.bytes=1073741824

推薦配置：

日志建議保留三天，也可以更短；段文件配置1GB，有利于快速回收磁盤空間，重啟kafka加載也會加快（kafka啟動時是單線程掃描目錄(log.dir)下所有數(shù)據(jù)文件）。如果文件過小，則文件數(shù)量比較多。

6.replica復制配置

num.replica.fetchers=3
replica.fetch.min.bytes=1
replica.fetch.max.bytes=5242880

推薦配置：

  每個follow從leader拉取消息進行同步數(shù)據(jù)，follow同步性能由這幾個參數(shù)決定，分別為:

拉取線程數(shù)(num.replica.fetchers):fetcher配置多可以提高follower的I/O并發(fā)度，單位時間內(nèi)leader持有更多請求，相應負載會增大，需要根據(jù)機器硬件資源做權衡，建議適當調(diào)大；

最小字節(jié)數(shù)(replica.fetch.min.bytes):一般無需更改，默認值即可；

最大字節(jié)數(shù)(replica.fetch.max.bytes)：默認為1MB，這個值太小，推薦5M，根據(jù)業(yè)務情況調(diào)整

最大等待時間(replica.fetch.wait.max.ms):follow拉取頻率，頻率過高，leader會積壓大量無效請求情況，無法進行數(shù)據(jù)同步，導致cpu飆升。配置時謹慎使用，建議默認值，無需配置。

7.分區(qū)數(shù)量配置

num.partitions=5

推薦配置：

默認partition數(shù)量1，如果topic在創(chuàng)建時沒有指定partition數(shù)量，默認使用此值。Partition的數(shù)量選取也會直接影響到Kafka集群的吞吐性能，配置過小會影響消費性能，建議改為5。