這篇文章主要講解了“flume集群的搭建方法”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“flume集群的搭建方法”吧！

東洲網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站設(shè)計(jì)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)于2013年開始到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

flume其實(shí)沒(méi)有集群概念,每個(gè)flume都是一個(gè)獨(dú)立的個(gè)體，每個(gè)flume agent收集數(shù)據(jù)匯總到flume collector，由collector寫入flume storage。

我現(xiàn)在有兩臺(tái)虛擬機(jī)，一臺(tái)是叫master，當(dāng)flume agent；一臺(tái)叫slave1，當(dāng)flume collector，實(shí)現(xiàn)agent連接collector向collector發(fā)送日志，最終collector將日志寫入到hdfs。

兩臺(tái)虛擬機(jī)事先配置好了jdk和hadoop。

1、解壓安裝

   tar -zxvf apache-flume-1.6.0-bin.tar.gz

2、配置各機(jī)器環(huán)境變量 /etc/profile

3、配置flume JAVA_HOME

cd /usr/local/apache-flume-1.6.0-bin/conf，把flume-env.sh.template重命名為flume-env.sh，往里添加 export JAVA_HOME=/usr/lib/jdk1.7.0_75

4、復(fù)制flume到其他節(jié)點(diǎn)(只是各自的啟動(dòng)文件不同)

cd /usr/local

       scp -r apache-flume-1.6.0-bin slave1:~然后再移動(dòng)到響應(yīng)目錄下

5、配置agent啟動(dòng)文件

在master節(jié)點(diǎn)上，在flume的conf目錄，將flume-conf.properties.template重命名為flume-test.conf(其實(shí)什么名字都可以，只要你啟動(dòng)的時(shí)候調(diào)用對(duì)就可以了)，然后配置source，channel，sink。

我這里agent source是spooldir ，channel是memory，sink是avro，三層類別詳細(xì)說(shuō)明見flume官網(wǎng)

在slave1節(jié)點(diǎn)，collector三層，source是avro,channel是memory，sink是hdfs

6、啟動(dòng)flume

先啟動(dòng)slave1節(jié)點(diǎn)，再啟動(dòng)master節(jié)點(diǎn)

flume-ng agent -n agent -c /usr/local/apache-flume-1.6.0-bin/conf  -f /usr/local/apache-flume-1.6.0-bin/conf/flume-test.conf -Dflume.root.logger=DEBUG,console

flume-ng agent -n agent -c /usr/local/apache-flume-1.6.0-bin/conf  -f /usr/local/apache-flume-1.6.0-bin/conf/flume-test.conf -Dflume.root.logger=DEBUG,console

啟動(dòng)命令一樣，-n是名字，-c是配置文件的目錄，-f是配置文件，-D是日志級(jí)別。

然后在master的/home/zhanghuan/Documents/flume-test目錄下添加文件，最后在hdfs里查看該文件，如果存在該文件，則表示flume搭建成功，否則失敗。

注意，搭建過(guò)程中可能出現(xiàn)如下錯(cuò)誤：

Could not configure sink  sink1 due to: No channel configured for sink: sink1
org.apache.flume.conf.ConfigurationException: No channel configured for sink: sink1

則仔細(xì)查看配置文件，一個(gè)source可以對(duì)應(yīng)多個(gè)channel，所以是channels，agent.sources.source1.channels = channel1，

但是一個(gè)sink對(duì)應(yīng)一個(gè)channel，所以是channel，agent.sinks.sink1.channel = channel1，請(qǐng)注意。

感謝各位的閱讀，以上就是“flume集群的搭建方法”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)flume集群的搭建方法這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！