這篇文章主要講解了“Storm集群的搭建與配置方法”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Storm集群的搭建與配置方法”吧！

克東網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),克東網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為克東千余家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站制作要多少錢，請(qǐng)找那個(gè)售后服務(wù)好的克東做網(wǎng)站的公司定做！

安裝Storm集群

這一章節(jié)將詳細(xì)描述如何搭建一個(gè)Storm集群。下面是接下來需要依次完成的安裝步驟：

• 搭建Zookeeper集群；

• 安裝Storm依賴庫；

• 下載并解壓Storm發(fā)布版本；

• 修改storm.yaml配置文件；

• 啟動(dòng)Storm各個(gè)后臺(tái)進(jìn)程。

1、Zookeeper的搭建參考：http://my.oschina.net/u/2377453/blog/464739

搭建Zookeeper集群注意事項(xiàng)：

1. 由于Zookeeper是快速失?。╢ail-fast)的，且遇到任何錯(cuò)誤情況，進(jìn)程均會(huì)退出，因此，最好能通過監(jiān)控程序?qū)ookeeper管理起來，保證Zookeeper退出后能被自動(dòng)重啟。詳情參考這里。

2. Zookeeper運(yùn)行過程中會(huì)在dataDir目錄下生成很多日志和快照文件，而Zookeeper運(yùn)行進(jìn)程并不負(fù)責(zé)定期清理合并這些文件，導(dǎo)致占用大量磁盤空間，因此，需要通過cron等方式定期清除沒用的日志和快照文件。詳情參考這里。具體命令格式如下：java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog -n

2、安裝Storm依賴庫

接下來，需要在Nimbus和Supervisor機(jī)器上安裝Storm的依賴庫，具體如下：

1. ZeroMQ 2.1.7 – 請(qǐng)勿使用2.1.10版本，因?yàn)樵摪姹镜囊恍﹪?yán)重bug會(huì)導(dǎo)致Storm集群運(yùn)行時(shí)出現(xiàn)奇怪的問題。少數(shù)用戶在2.1.7版本會(huì)遇到"IllegalArgumentException"的異常，此時(shí)降為2.1.4版本可修復(fù)這一問題。

2. JZMQ

3. Java 6

4. Python 2.6.6

5. unzip

以上依賴庫的版本是經(jīng)過Storm測試的，Storm并不能保證在其他版本的Java或Python庫下可運(yùn)行。

注意：

    安裝過程中經(jīng)常出現(xiàn)需要依賴，請(qǐng)務(wù)必使用yum安裝各種依賴

    YUM出現(xiàn)問題請(qǐng)參考這篇文章：http://my.oschina.net/u/2377453/blog/466141

3、安裝ZMQ 2.1.7

下載后編譯安裝ZMQ：

#wget    //http://download.zeromq.org/zeromq-2.1.7.tar.gz//下載
#tar -xzf zeromq-2.1.7.tar.gz    //解壓
#cd zeromq-2.1.7    //切換目錄
//編譯且安裝
#./configure        
#make    
#make install

安裝時(shí)可能出現(xiàn)如下依賴：
1.安裝c++編譯器
#sudo yum install gcc-c++
2.下載libsodium
//https://github.com/jedisct1/libsodium/archive/1.0.1.tar.gz
3.安裝libtool
#sudo yum install libtool
4.安裝autoconf-2.68
#wget //http://ftp.gnu.org/gnu/autoconf/autoconf-2.68.tar.gz
#./configure
#make && make install

注意事項(xiàng)：

1. 如果安裝過程報(bào)錯(cuò)uuid找不到，則通過如下的包安裝uuid庫：
#yum install uuid*
#yum install e2fsprogs*
2. 如果出現(xiàn)c++編譯環(huán)境
#yum install gcc-c++

4、安裝JZMQ

下載后編譯安裝JZMQ：

#wget   // https://codeload.github.com/zeromq/jzmq/zip/master//下載
#unzip jzmq-master.zip //解壓
#cd jzmq-maste    //切換目錄
//編譯安裝
#./autogen.sh
#./configure
#make
#make install

為了保證JZMQ正常工作，可能需要完成以下配置：

1. 正確設(shè)置 JAVA_HOME環(huán)境變量

2. 安裝Java開發(fā)包

3. 注意事項(xiàng)：

     1. 如果運(yùn)行./configure命令出現(xiàn)connot find zmq.h

加入兩臺(tái)export：
export CPPFLAGS=-I/root/installs/zeromq/include
export LDFLAGS=-L/root/installs/zeromq/lib/

5、 安裝Java 6

1. 下載并安裝JDK 6

2. 配置JAVA_HOME環(huán)境變量；

3. 運(yùn)行java、javac命令，測試java正常安裝。

6、安裝Python2.7.10

1. 下載Python2.7.10：

wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tar.xz

2. 編譯安裝Python2.7.10：

#xz -d Python-2.7.10.tar.xz//可能需要安裝xz，sudo yum install xz 
#tar –xvf Python-2.7.10.tar.gz  
#cd Python-2.7.10
#./configure
#make
#make install
注意：
1、python默認(rèn)安裝路徑：/usr/local/bin/pythonN
2、新安裝的python要替代系統(tǒng)自帶的python必須將系統(tǒng)自帶的python的鏈接文件刪除：/usr/bin/python
3、使用命令創(chuàng)建自己的鏈接文件：ln -s /usr/local/bin/pythonN /usr/bin/python
N位版本號(hào)

3. 測試Python2.7.10：

#python -V
Python 2.7.10

7、安裝unzip

1. 如果使用RedHat系列Linux系統(tǒng)，執(zhí)行以下命令安裝unzip：

apt-get install unzip

2. 如果使用Debian系列Linux系統(tǒng)，執(zhí)行以下命令安裝unzip：

yum install unzip

8、下載并解壓Storm發(fā)布版本

下一步，需要在Nimbus和Supervisor機(jī)器上安裝Storm發(fā)行版本。

1. 下載Storm發(fā)行版本，推薦使用Storm0.8.1：

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

2. 解壓到安裝目錄下：

unzip storm-0.8.1.zip

3. 修改storm.yaml配置文件

Storm發(fā)行版本解壓目錄下有一個(gè)conf/storm.yaml文件，用于配置Storm。默認(rèn)配置在這里可以查看。conf/storm.yaml中的配置選項(xiàng)將覆蓋defaults.yaml中的默認(rèn)配置。以下配置選項(xiàng)是必須在conf/storm.yaml中進(jìn)行配置的：

注意：配置文件中“：”以及“-”左右兩邊必須有空格（→_→我被坑了好久才發(fā)現(xiàn)這個(gè)問題）

#配置storm使用的zookeeper集群的地址
storm.zookeeper.servers:
     - "hostA"
     - "hostB"
#（選配）如果zookeeper默認(rèn)端口不是2181，則需要配置zookeeper端口
storm.zookeeper.port : 2181
#配置主節(jié)點(diǎn)nimbus所在的主機(jī)
nimbus.host : "host"
#配置storm的工作目錄
storm.local.dir : "/root/app/storm/tmp"
#配置本地模式下是否使用ZeroQM作為消息系統(tǒng)，默認(rèn)為false：使用java消息系統(tǒng)
storm.local.mode.zmq : true
#配置supervisor節(jié)點(diǎn)可以使用worker進(jìn)程的端口,默認(rèn)情況為4個(gè)worker進(jìn)程，端口如下
supervisor.slots.ports : 
 - 6700
 - 6701
 - 6702
 - 6703

9、啟動(dòng)Storm各個(gè)后臺(tái)進(jìn)程

最后一步，啟動(dòng)Storm的所有后臺(tái)進(jìn)程。和Zookeeper一樣，Storm也是快速失?。╢ail-fast)的系統(tǒng)，這樣Storm才能在任意時(shí)刻被停止，并且當(dāng)進(jìn)程重啟后被正確地恢復(fù)執(zhí)行。這也是為什么Storm不在進(jìn)程內(nèi)保存狀態(tài)的原因，即使Nimbus或Supervisors被重啟，運(yùn)行中的Topologies不會(huì)受到影響。

以下是啟動(dòng)Storm各個(gè)后臺(tái)進(jìn)程的方式：

1. Nimbus: 在Storm主控節(jié)點(diǎn)上運(yùn)行"bin/storm nimbus 1 > /dev/null 2 &1 &"啟動(dòng)Nimbus后臺(tái)程序，并放到后臺(tái)執(zhí)行；

2. Supervisor: 在Storm各個(gè)工作節(jié)點(diǎn)上運(yùn)行"bin/storm supervisor 1 /dev/null 2 &1 &"啟動(dòng)Supervisor后臺(tái)程序，并放到后臺(tái)執(zhí)行；

3. UI: 在Storm主控節(jié)點(diǎn)上運(yùn)行"bin/storm ui  1 > /dev/null 2 &1 &"啟動(dòng)UI后臺(tái)程序，并放到后臺(tái)執(zhí)行，啟動(dòng)后可以通過http://{nimbus host}:8080觀察集群的worker資源使用情況、Topologies的運(yùn)行狀態(tài)等信息。

4. 命令解釋：“1 > /dev/null 2 &1”，linux命令，意思是標(biāo)準(zhǔn)輸出（1）到/dev/null，異常輸出（2）同樣輸出到/dev/null（&1就是引用1輸出的位置），&后臺(tái)運(yùn)行，如果在命令最前端加入“nohub”，則變?yōu)榧词龟P(guān)閉終端也會(huì)繼續(xù)運(yùn)行.

    

注意事項(xiàng)：

1. Storm后臺(tái)進(jìn)程被啟動(dòng)后，將在Storm安裝部署目錄下的logs/子目錄下生成各個(gè)進(jìn)程的日志文件。

2. 經(jīng)測試，Storm UI必須和Storm Nimbus部署在同一臺(tái)機(jī)器上，否則UI無法正常工作，因?yàn)閁I進(jìn)程會(huì)檢查本機(jī)是否存在Nimbus鏈接。

3. 為了方便使用，可以將bin/storm加入到系統(tǒng)環(huán)境變量中。

至此，Storm集群已經(jīng)部署、配置完畢，可以向集群提交拓?fù)溥\(yùn)行了。

10、向集群提交任務(wù)

1）啟動(dòng)Storm Topology：

storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3

其中，allmycode.jar是包含Topology實(shí)現(xiàn)代碼的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3為org.me.MyTopology執(zhí)行時(shí)需要傳入的參數(shù)。

2）停止Storm Topology：

storm kill {toponame}

其中，{toponame}為Topology提交到Storm集群時(shí)指定的Topology任務(wù)名稱。

感謝各位的閱讀，以上就是“Storm集群的搭建與配置方法”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Storm集群的搭建與配置方法這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！