真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

如何進行基于mdrill的大數(shù)據(jù)分析

如何進行基于mdrill的大數(shù)據(jù)分析,相信很多沒有經(jīng)驗的人對此束手無策,為此本文總結(jié)了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)公司專注于網(wǎng)站建設(shè),為客戶提供網(wǎng)站設(shè)計、網(wǎng)站制作、網(wǎng)頁設(shè)計開發(fā)服務(wù),多年建網(wǎng)站服務(wù)經(jīng)驗,各類網(wǎng)站都可以開發(fā),成都品牌網(wǎng)站建設(shè),公司官網(wǎng),公司展示網(wǎng)站,網(wǎng)站設(shè)計,建網(wǎng)站費用,建網(wǎng)站多少錢,價格優(yōu)惠,收費合理。

項目簡介

   
mdrill是由阿里開源的一套數(shù)據(jù)的軟件,針對TB級數(shù)據(jù)量,能夠僅用10臺機器,達到秒級響應(yīng),數(shù)據(jù)能實時導入,可以對任意的維度進行組合與過濾。
    mdrill作為數(shù)據(jù)在線分析處理軟件,可以在幾秒到幾十秒的時間,分析百億級別的任意組合維度的數(shù)據(jù)。
在阿里10臺機器完成每日30億的數(shù)據(jù)存儲,其中10億為實時的數(shù)據(jù)導入,20億為離線導入。目前集群的總存儲1000多億80~400維度的數(shù)據(jù)。

mdrill的特性

1.滿足大數(shù)據(jù)查詢需求:adhoc每天的數(shù)據(jù)量為30億條,隨著日積月累,數(shù)據(jù)會越來越大,mdrill采用列存儲,索引,分布式技術(shù),適當?shù)姆謪^(qū)等滿足用戶對數(shù)據(jù)的實時在線分析的需求。
2.支持增量更新:離線形式的mdrill數(shù)據(jù)支持按照分區(qū)方式的增量更新。
3.支持實時數(shù)據(jù)導入:在僅有10臺機器的情況下,支持每天10億級別(高峰每小時2億)的實時導入。
4.響應(yīng)時間快:列存儲、倒排索引、高效的數(shù)據(jù)壓縮、內(nèi)存計算,各種緩存、分區(qū)、分布式處理等等這些技術(shù),使得mdrill可以僅在幾秒到幾十秒的時間分析百億級別的數(shù)據(jù)。
5.低成本:目前在阿里adhoc僅僅使用10臺48G內(nèi)存的PC機,但確存儲了超過千億規(guī)模的數(shù)據(jù)。
6.全文檢索模式:強大的條件設(shè)置,任意組合,無論難易秒級預覽,每天160億的數(shù)據(jù)隨意篩選。

mdrill數(shù)據(jù)量的增長

時間點

數(shù)據(jù)量

事件

12年12月

小于2億

adhoc首次上線

13年1月

20~30億

由2臺機器擴容到了10臺

13年5月2日

100億

首次過百億

13年7月24日

400億

首次開源

13年11月

1000億

全文檢索模式ods_allpv_ad_d上線

13年12月

1500億

實時數(shù)據(jù)以及無線數(shù)據(jù)的接入

14年2月

3200億

目前只有11臺機器,硬盤使用率30%

看完上述內(nèi)容,你們掌握如何進行基于mdrill的大數(shù)據(jù)分析的方法了嗎?如果還想學到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!


網(wǎng)站題目:如何進行基于mdrill的大數(shù)據(jù)分析
URL網(wǎng)址:http://weahome.cn/article/pesjii.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部