如何進行基于mdrill的大數(shù)據(jù)分析,相信很多沒有經(jīng)驗的人對此束手無策,為此本文總結(jié)了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個問題。
創(chuàng)新互聯(lián)公司專注于網(wǎng)站建設(shè),為客戶提供網(wǎng)站設(shè)計、網(wǎng)站制作、網(wǎng)頁設(shè)計開發(fā)服務(wù),多年建網(wǎng)站服務(wù)經(jīng)驗,各類網(wǎng)站都可以開發(fā),成都品牌網(wǎng)站建設(shè),公司官網(wǎng),公司展示網(wǎng)站,網(wǎng)站設(shè)計,建網(wǎng)站費用,建網(wǎng)站多少錢,價格優(yōu)惠,收費合理。
mdrill是由阿里開源的一套數(shù)據(jù)的軟件,針對TB級數(shù)據(jù)量,能夠僅用10臺機器,達到秒級響應(yīng),數(shù)據(jù)能實時導入,可以對任意的維度進行組合與過濾。
mdrill作為數(shù)據(jù)在線分析處理軟件,可以在幾秒到幾十秒的時間,分析百億級別的任意組合維度的數(shù)據(jù)。
在阿里10臺機器完成每日30億的數(shù)據(jù)存儲,其中10億為實時的數(shù)據(jù)導入,20億為離線導入。目前集群的總存儲1000多億80~400維度的數(shù)據(jù)。
1.滿足大數(shù)據(jù)查詢需求:adhoc每天的數(shù)據(jù)量為30億條,隨著日積月累,數(shù)據(jù)會越來越大,mdrill采用列存儲,索引,分布式技術(shù),適當?shù)姆謪^(qū)等滿足用戶對數(shù)據(jù)的實時在線分析的需求。
2.支持增量更新:離線形式的mdrill數(shù)據(jù)支持按照分區(qū)方式的增量更新。
3.支持實時數(shù)據(jù)導入:在僅有10臺機器的情況下,支持每天10億級別(高峰每小時2億)的實時導入。
4.響應(yīng)時間快:列存儲、倒排索引、高效的數(shù)據(jù)壓縮、內(nèi)存計算,各種緩存、分區(qū)、分布式處理等等這些技術(shù),使得mdrill可以僅在幾秒到幾十秒的時間分析百億級別的數(shù)據(jù)。
5.低成本:目前在阿里adhoc僅僅使用10臺48G內(nèi)存的PC機,但確存儲了超過千億規(guī)模的數(shù)據(jù)。
6.全文檢索模式:強大的條件設(shè)置,任意組合,無論難易秒級預覽,每天160億的數(shù)據(jù)隨意篩選。
時間點 | 數(shù)據(jù)量 | 事件 |
12年12月 | 小于2億 | adhoc首次上線 |
13年1月 | 20~30億 | 由2臺機器擴容到了10臺 |
13年5月2日 | 100億 | 首次過百億 |
13年7月24日 | 400億 | 首次開源 |
13年11月 | 1000億 | 全文檢索模式ods_allpv_ad_d上線 |
13年12月 | 1500億 | 實時數(shù)據(jù)以及無線數(shù)據(jù)的接入 |
14年2月 | 3200億 | 目前只有11臺機器,硬盤使用率30% |
看完上述內(nèi)容,你們掌握如何進行基于mdrill的大數(shù)據(jù)分析的方法了嗎?如果還想學到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!