關(guān)于千萬級數(shù)據(jù)的OLAP場景是什么樣的，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學(xué)習下，希望你能有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了陜州免費建站歡迎大家使用！

前段時間接手一個比較棘手的項目.

6千萬的股票行情數(shù)據(jù)聚合場景.

要求:

用戶發(fā)起query,  到解析, 再到聚合, 最后展現(xiàn)給用戶耗時不超過2秒.

因為聚合維度比較多, 可以劃分為時間維度, 指標維度. 指標維度多達10幾個.

設(shè)想1:

使用mongo, 先扔進去了2千萬左右的數(shù)據(jù), 不加索引的情況下, 幾乎出不了結(jié)果.

如果每個維度都使用索引的話成本太高, 最后果斷放棄了mongo.

設(shè)想2:

使用MySQL, 數(shù)據(jù)分片, 很細粒度的, 準備以空間換時間.

主要是以時間維度做數(shù)據(jù)冗余, 針對幾個主要的時間段, 時間點提前做數(shù)據(jù)準備.

其他維度采用硬算的方式. 

想法是好的, 測試的結(jié)果對我來說相當殘酷.

1.硬算時間太長.

2.非主要時間維度跨度太細, 不是所有都做數(shù)據(jù)pre.

設(shè)想3:

采用elasticsearch, 準備了5臺服務(wù)器.  準備采用5臺es集群應(yīng)對OLAP場景.

導(dǎo)進5千萬數(shù)據(jù)后,  開始測試.

時間維度+其他單一維度在1秒以內(nèi)

時間維度+其他多維度(3個以內(nèi))在3秒內(nèi)

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。