本篇文章為大家展示了如何進(jìn)行flume1.6.0 和kafka整合，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

目前創(chuàng)新互聯(lián)公司已為近1000家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管維護(hù)、企業(yè)網(wǎng)站設(shè)計、博州網(wǎng)站維護(hù)等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

一、啟動kafka，使用默認(rèn)配置

    ①啟動zookeeper，bin/-server-start.sh -daemon config/server.properties 

    ②啟動kafka：bin/kafka-server-start.sh -daemon config/server.properties 

     ③創(chuàng)建主題：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider

     ④啟動消費者：bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning

二、配置flume并啟動

    flume的詳細(xì)配置可以看我前面的關(guān)于flume的詳細(xì)配置

    將flume（1.6.0，自定義sink會在后面博客補充）的sink改為：

    agent1.sinks.log-sink1.channel = ch2
    agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink
    agent1.sinks.log-sink1.topic = spider
    agent1.sinks.log-sink1.brokerList = 192.168.57.133:9092
    agent1.sinks.log-sink1.requiredAcks = 1
    agent1.sinks.log-sink1.batchSize = 1
    啟動flume

三、測試

    這里的測試類還是使用上一次log4j整合flume的例子，運行測試類，如果看到下面輸出，則表示整合成功

上述內(nèi)容就是如何進(jìn)行flume1.6.0 和kafka整合，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。