真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

JStorm原理以及應用場景是怎樣的

本篇文章給大家分享的是有關JStorm原理以及應用場景是怎樣的,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。

成都創(chuàng)新互聯(lián)公司服務項目包括溆浦網(wǎng)站建設、溆浦網(wǎng)站制作、溆浦網(wǎng)頁制作以及溆浦網(wǎng)絡營銷策劃等。多年來,我們專注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關系等,向廣大中小型企業(yè)、政府機構等提供互聯(lián)網(wǎng)行業(yè)的解決方案,溆浦網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前,我們服務的客戶以成都為中心已經(jīng)輻射到溆浦省份的部分城市,未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任!

JStorm 是一個類似Hadoop MapReduce的系統(tǒng), 用戶按照指定的接口實現(xiàn)一個任務,然后將這個任務遞交給JStorm系統(tǒng),JStorm將這個任務跑起來,并且按7 * 24小時運行起來,一旦中間一個Worker 發(fā)生意外故障, 調度器立即分配一個新的Worker替換這個失效的Worker。

因此,從應用的角度,JStorm應用是一種遵守某種編程規(guī)范的分布式應用。從系統(tǒng)角度, JStorm是一套類似MapReduce的調度系統(tǒng)。 從數(shù)據(jù)的角度,JStorm是一套基于流水線的消息處理機制。

實時計算現(xiàn)在是大數(shù)據(jù)領域中最火爆的一個方向,因為人們對數(shù)據(jù)的要求越來越高,實時性要求也越來越快,傳統(tǒng)的Hadoop MapReduce,逐漸滿足不了需求,因此在這個領域需求不斷。

Storm組件和Hadoop組件對比

StormHadoop角色NimbusJobTrackerSupervisorTaskTrackerWorkerChild應用名稱TopologyJob編程接口Spout/BoltMapper/Reducer優(yōu)點

在Storm和JStorm出現(xiàn)以前,市面上出現(xiàn)很多實時計算引擎,但自Storm和JStorm出現(xiàn)后,基本上可以說一統(tǒng)江湖: 究其優(yōu)點:

開發(fā)非常迅速:接口簡單,容易上手,只要遵守Topology、Spout和Bolt的編程規(guī)范即可開發(fā)出一個擴展性極好的應用,底層RPC、Worker之間冗余,數(shù)據(jù)分流之類的動作完全不用考慮

擴展性極好:當一級處理單元速度,直接配置一下并發(fā)數(shù),即可線性擴展性能

健壯強:當Worker失效或機器出現(xiàn)故障時, 自動分配新的Worker替換失效Worker

數(shù)據(jù)準確性:可以采用Ack機制,保證數(shù)據(jù)不丟失。 如果對精度有更多一步要求,采用事務機制,保證數(shù)據(jù)準確。

應用場景

JStorm處理數(shù)據(jù)的方式是基于消息的流水線處理, 因此特別適合無狀態(tài)計算,也就是計算單元的依賴的數(shù)據(jù)全部在接受的消息中可以找到, 并且最好一個數(shù)據(jù)流不依賴另外一個數(shù)據(jù)流。

因此,常常用于

日志分析,從日志中分析出特定的數(shù)據(jù),并將分析的結果存入外部存儲器如數(shù)據(jù)庫。目前,主流日志分析技術就使用JStorm或Storm

管道系統(tǒng), 將一個數(shù)據(jù)從一個系統(tǒng)傳輸?shù)搅硗庖粋€系統(tǒng), 比如將數(shù)據(jù)庫同步到Hadoop

消息轉化器, 將接受到的消息按照某種格式進行轉化,存儲到另外一個系統(tǒng)如消息中間件

統(tǒng)計分析器, 從日志或消息中,提煉出某個字段,然后做count或sum計算,最后將統(tǒng)計值存入外部存儲器。中間處理過程可能更復雜。

以上就是JStorm原理以及應用場景是怎樣的,小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注箭頭云行業(yè)資訊頻道。


本文名稱:JStorm原理以及應用場景是怎樣的
分享URL:http://weahome.cn/article/cjcigp.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部