1. 安裝包準(zhǔn)備

   

   站在用戶的角度思考問題，與客戶深入溝通，找到惠陽網(wǎng)站設(shè)計與惠陽網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：網(wǎng)站設(shè)計制作、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名注冊、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋惠陽地區(qū)。

   官網(wǎng)下載最新穩(wěn)定版本，題主下載的是apache-storm-0.9.5.tar.gz

2. 角色分配

  3.1 安裝Strom集群首先要搭建ZooKeeper集群，由于Zookeeper搭建相對簡單，不再介紹，我們這里zookeeper為hadoop001:2181,hadoop002:2181,hadoop003:2181

  3.2 解壓安裝包到指定目錄下，這里為/opt下。

  3.3 添加環(huán)境變量到/home/you-user-name/.bashrc

    export STORM_HOME=/opt/storm

    export PATH=$STORM_HOME/bin:$PATH

    export CLASSPATH=$STROM_HOME/lib:$CLASSPATH

  3.4 修改Storm配置文件

配置項 配置說明

storm.zookeeper.servers     ZooKeeper服務(wù)器列表

storm.zookeeper.port     ZooKeeper連接端口

storm.local.dir         storm使用的本地文件系統(tǒng)目錄(必須存在并且storm進(jìn)程可讀寫)

storm.cluster.mode     Storm集群運(yùn)行模式([distributed|local])

storm.local.mode.zmq     Local模式下是否使用ZeroMQ作消息系統(tǒng)，如果設(shè)置為false則使用java消息系統(tǒng)。默認(rèn)為false

storm.zookeeper.root     ZooKeeper中Storm的根目錄位置

storm.zookeeper.session.timeout 客戶端連接ZooKeeper超時時間

storm.id         運(yùn)行中拓?fù)涞膇d,由storm name和一個唯一隨機(jī)數(shù)組成。

nimbus.host         nimbus服務(wù)器地址

nimbus.thrift.port     nimbus的thrift監(jiān)聽端口

nimbus.childopts     通過storm-deploy項目部署時指定給nimbus進(jìn)程的jvm選項

nimbus.task.timeout.secs 心跳超時時間，超時后nimbus會認(rèn)為task死掉并重分配給另一個地址。

nimbus.monitor.freq.secs nimbus檢查心跳和重分配任務(wù)的時間間隔.注意如果是機(jī)器宕掉nimbus會立即接管并處理。

nimbus.supervisor.timeout.secs     supervisor的心跳超時時間,一旦超過nimbus會認(rèn)為該supervisor已死并停止為它分發(fā)新任務(wù).

nimbus.task.launch.secs task    啟動時的一個特殊超時設(shè)置.在啟動后第一次心跳前會使用該值來臨時替代nimbus.task.timeout.secs.

nimbus.reassign         當(dāng)發(fā)現(xiàn)task失敗時nimbus是否重新分配執(zhí)行。默認(rèn)為真，不建議修改。

nimbus.file.copy.expiration.secs nimbus判斷上傳/下載鏈接的超時時間，當(dāng)空閑時間超過該設(shè)定時nimbus會認(rèn)為鏈接死掉并主動斷開

ui.port Storm UI的服務(wù)端口

drpc.servers DRPC服務(wù)器列表，以便DRPCSpout知道和誰通訊

drpc.port Storm DRPC的服務(wù)端口

supervisor.slots.ports supervisor上能夠運(yùn)行workers的端口列表.每個worker占用一個端口,且每個端口只運(yùn)行一個worker.通過這項配置可以調(diào)整每臺機(jī)器上運(yùn)行的worker數(shù).(調(diào)整slot數(shù)/每機(jī))

supervisor.childopts 在storm-deploy項目中使用,用來配置supervisor守護(hù)進(jìn)程的jvm選項

supervisor.worker.timeout.secs supervisor中的worker心跳超時時間,一旦超時supervisor會嘗試重啟worker進(jìn)程.

supervisor.worker.start.timeout.secs supervisor初始啟動時，worker的心跳超時時間，當(dāng)超過該時間supervisor會嘗試重啟worker。因為JVM初始啟動和配置會帶來的額外消耗，從而使得第一次心跳會超過supervisor.worker.timeout.secs的設(shè)定

supervisor.enable supervisor是否應(yīng)當(dāng)運(yùn)行分配給他的workers.默認(rèn)為true,該選項用來進(jìn)行Storm的單元測試,一般不應(yīng)修改.

supervisor.heartbeat.frequency.secs supervisor心跳發(fā)送頻率(多久發(fā)送一次)

supervisor.monitor.frequency.secs supervisor檢查worker心跳的頻率

worker.childopts supervisor啟動worker時使用的jvm選項.所有的”%ID%”字串會被替換為對應(yīng)worker的標(biāo)識符

worker.heartbeat.frequency.secs worker的心跳發(fā)送時間間隔

task.heartbeat.frequency.secs task匯報狀態(tài)心跳時間間隔

task.refresh.poll.secs task與其他tasks之間鏈接同步的頻率.(如果task被重分配,其他tasks向它發(fā)送消息需要刷新連接).一般來講，重分配發(fā)生時其他tasks會理解得到通知。該配置僅僅為了防止未通知的情況。

topology.debug 如果設(shè)置成true，Storm將記錄發(fā)射的每條信息。

topology.optimize master是否在合適時機(jī)通過在單個線程內(nèi)運(yùn)行多個task以達(dá)到優(yōu)化topologies的目的.

topology.workers 執(zhí)行該topology集群中應(yīng)當(dāng)啟動的進(jìn)程數(shù)量.每個進(jìn)程內(nèi)部將以線程方式執(zhí)行一定數(shù)目的tasks.topology的組件結(jié)合該參數(shù)和并行度提示來優(yōu)化性能

topology.ackers topology中啟動的acker任務(wù)數(shù).Acker保存由spout發(fā)送的tuples的記錄，并探測tuple何時被完全處理.當(dāng)Acker探測到tuple被處理完畢時會向spout發(fā)送確認(rèn)信息.通常應(yīng)當(dāng)根據(jù)topology的吞吐量來確定acker的數(shù)目，但一般不需要太多.當(dāng)設(shè)置為0時,相當(dāng)于禁用了消息可靠性,storm會在spout發(fā)送tuples后立即進(jìn)行確認(rèn).

topology.message.timeout.secs topology中spout發(fā)送消息的大處理超時時間.如果一條消息在該時間窗口內(nèi)未被成功ack,Storm會告知spout這條消息失敗。而部分spout實現(xiàn)了失敗消息重播功能。

topology.kryo.register 注冊到Kryo(Storm底層的序列化框架)的序列化方案列表.序列化方案可以是一個類名,或者是com.esotericsoftware.kryo.Serializer的實現(xiàn).

topology.skip.missing.kryo.registrations Storm是否應(yīng)該跳過它不能識別的kryo序列化方案.如果設(shè)置為否task可能會裝載失敗或者在運(yùn)行時拋出錯誤.

topology.max.task.parallelism 在一個topology中能夠允許的大組件并行度.該項配置主要用在本地模式中測試線程數(shù)限制.

topology.max.spout.pending 一個spout task中處于pending狀態(tài)的大的tuples數(shù)量.該配置應(yīng)用于單個task,而不是整個spouts或topology.

topology.state.synchronization.timeout.secs 組件同步狀態(tài)源的大超時時間(保留選項,暫未使用)

topology.stats.sample.rate 用來產(chǎn)生task統(tǒng)計信息的tuples抽樣百分比

topology.fall.back.on.java.serialization topology中是否使用java的序列化方案

zmq.threads 每個worker進(jìn)程內(nèi)zeromq通訊用到的線程數(shù)

zmq.linger.millis 當(dāng)連接關(guān)閉時,鏈接嘗試重新發(fā)送消息到目標(biāo)主機(jī)的持續(xù)時長.這是一個不常用的高級選項,基本上可以忽略.

java.library.path JVM啟動(如Nimbus,Supervisor和workers)時的java.library.path設(shè)置.該選項告訴JVM在哪些路徑下定位本地庫.

4.啟動

    Strom中沒有在配置中對角色分配做體現(xiàn)，需要我們在啟動時指定：

    啟動Nimbus："bin/storm nimbus >/dev/null 2>&1 &"

            啟動Supervisor："bin/storm supervisor >/dev/null 2>&1 &"

            啟動UI："bin/storm ui >/dev/null 2>&1 &"

    注意事項:UI必須和Nimbus處于同一主機(jī)，否則UI無法正常工作

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。