對于大數(shù)據(jù)的學(xué)習(xí)，很長一段時間，都覺得非常迷茫。不知道具體該學(xué)習(xí)什么！進(jìn)而導(dǎo)致知識的知識點挺多，而自己所會的內(nèi)容都不能夠形成很好的體系，進(jìn)而為自己的職場加分。而最近一直在學(xué)習(xí)相關(guān)大數(shù)的架構(gòu)知識，進(jìn)而具體到一個廠商。這樣反而自己學(xué)的很快，總結(jié)一下前段時間的學(xué)習(xí)，溫故而知新!!!
首先，大數(shù)據(jù)開始做為概念開始進(jìn)入公眾并在實際業(yè)務(wù)中落地是在13年。從一項技術(shù)的發(fā)展來看，這項技術(shù)會在18年形成一個很好的閉環(huán)。而在此期間，不管你是不是大數(shù)據(jù)的項目，在這五年內(nèi)，只要冠以大數(shù)據(jù)名稱都可以獲益。
所以，大數(shù)據(jù)第一件能做的事就忽悠！不管你是不是大數(shù)據(jù)的項目，只要是你懂一點分布式，知道一點Hadoop,Spark。就可以去說我可以承接相關(guān)的項目，這是相關(guān)冒險的。因為當(dāng)你不能夠?qū)Υ髷?shù)據(jù)有一個整全的理解，而是靠著在實際工程中不斷的學(xué)習(xí)進(jìn)而再去指導(dǎo)并優(yōu)化工作。這樣做無異于事倍功半！所以回歸到題目的方向，就是如何從技術(shù)架構(gòu)的解度去豐富你的知識。
1，存儲
大數(shù)據(jù)，顧名思義。就是你的數(shù)據(jù)量很大，傳統(tǒng)的數(shù)據(jù)有EXCEL，TXT，WORD........剛開始這些還可以存儲到硬盤上。但多到一定程度，勢必會影響你開機(jī)的速度，這時，就要引入數(shù)據(jù)庫的概念來存儲。而你用數(shù)據(jù)庫來存數(shù)據(jù)時，就又要涉及要你與數(shù)據(jù)庫的對話語言－－SQL語句。
單點，結(jié)構(gòu)化的數(shù)據(jù)完成了以后，你的工作效率得到了很大的提升。相鄰城鎮(zhèn)的人看著這樣不錯的時候，就也開始了相應(yīng)的部署。但數(shù)據(jù)庫內(nèi)容還是要和總部鏈接的。這樣就形成了我們常說的分布式存儲。
隨著經(jīng)濟(jì)的不均衡發(fā)展，各種地區(qū)推出的營銷活動不同。所要存儲用戶的信息也不同。這樣就造成了傳統(tǒng)結(jié)構(gòu)化的存儲效率下降，轉(zhuǎn)而改變?yōu)橛脩魡我籌D+相關(guān)行為的非結(jié)構(gòu)化數(shù)據(jù)的存儲。
好了，存完了數(shù)據(jù)，放到那里呢，放在硬盤上的起名叫Hadoop,放在內(nèi)存中的就叫Spark.
2,計算
任何的數(shù)據(jù)都是要參于到運算當(dāng)中來的，而在運算的過程中是一定要調(diào)用CPU的，而傳統(tǒng)的高帥富的大型機(jī)在高性能運算上是有優(yōu)勢的。可在大數(shù)據(jù)如海水一般的涌來時，這些高帥富的大型機(jī)就不好起到作用了。
還是老祖宗的智慧過人，分而治之。這是治水的思路，也是解決一個高帥富面對眾多請求時不知所措的茫然。在技術(shù)上，用100臺PC或小型機(jī)來分而治之所涌來的數(shù)據(jù)。然后再統(tǒng)一匯報解決情況。這個也就是大數(shù)據(jù)里邊常說的那句話：100個窮吊絲相當(dāng)于一個高富帥！這是第一種計算方案。
那還有一種是什么呢！類似于周伯通的左右互博擊，你想想，你一臺PC可以做的事情，我再加一顆CPU，是不是就相當(dāng)于模擬出來兩套。而這樣計算的好處是可以將數(shù)據(jù)分類處理，而這一方面，在技術(shù)上是通過虛擬化來實現(xiàn)的。
3，可視
講完了前邊的基礎(chǔ)之后，我們就來看看數(shù)據(jù)展現(xiàn)，數(shù)據(jù)的展現(xiàn)有許多種，而這一部人是需要代碼人員有一些藝術(shù)細(xì)胞的（什么，沒有！那藝術(shù)細(xì)菌也行）。
畢竟，要將你所計算的結(jié)果呈現(xiàn)現(xiàn)大眾面前。相應(yīng)的邏輯清楚就一點就顯得非常重要。在這方面，建議多看一些其他人的優(yōu)秀作品。更重要的是你要具備一些心理學(xué)的知識，數(shù)據(jù)的突顯及策略的把控?？梢哉f，大數(shù)據(jù)項目的成敗基本上就是在可視的這一塊是否能產(chǎn)生效果了。
好了，這次就先總結(jié)這么多。以后學(xué)習(xí)過程中，再慢慢總結(jié)！
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
