Kafka是由Apache軟件基金會(huì)開(kāi)發(fā)的開(kāi)源流處理平臺(tái),由Scala和Java編寫(xiě)。
flume和Kafka的一些功能是相同的,但總的來(lái)說(shuō),它們是完全不同的;它們的場(chǎng)景是不同的,但它們可以一起使用。
簡(jiǎn)而言之,flume是一個(gè)分布式日志收集系統(tǒng),它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?,如HDFS。
Kafka是一個(gè)分布式消息中間件,有自己的存儲(chǔ),提供推拉數(shù)據(jù)訪問(wèn)功能。
整個(gè)過(guò)程如下:
登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計(jì)算
登錄服務(wù)器<--flume-->kafka-->storm
希望我的回答能對(duì)您有所幫助
kafka和mqtt的區(qū)別是什么?Kafka是一種分布式消息隊(duì)列或分布式消息中間件。有時(shí)它被稱為一種MQ產(chǎn)品(消息隊(duì)列)。同一類型包括rabbitmq、ActiveMQ等。Mqtt是一種即時(shí)消息傳輸協(xié)議。消息隊(duì)列通信傳輸是即時(shí)消息傳輸?shù)囊环N格式約定。與XMPP類似,它用于IM。Kafka不支持mqtt協(xié)議。如果你必須集成它們,你必須自己分析它們或者去GitHub找到答案。也許有人做過(guò)這樣的項(xiàng)目。兩個(gè)m的意思完全不同。Kafka的M是指在不同服務(wù)器或進(jìn)程之間傳輸?shù)南?,而mqtt的M是指人們?cè)贗M(如MSN和QQ)中進(jìn)行通信的消息。
如何搭建kafka?該如何學(xué)習(xí)kafka?很多百度