編程技能– C ++，Python，R，Java，Ruby和SQL需要基本的編碼/編程技能。由于處理非結(jié)構(gòu)化數(shù)據(jù)已成為日常任務(wù)，因此必須配備多種編碼語言。
成都創(chuàng)新互聯(lián)公司2013年至今，先為冷水江等服務(wù)建站，冷水江等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為冷水江企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
計(jì)算框架–熟悉Apache Storm，Apache Spark，MapReduce，Hadoop和Apache Flink等框架是有抱負(fù)的大數(shù)據(jù)分析師的必備條件。這些框架中的知識(shí)將在數(shù)據(jù)處理過程中為個(gè)人提供幫助。
數(shù)據(jù)倉庫技能–從事此類職業(yè)的專業(yè)人員必須對(duì)關(guān)系和非關(guān)系數(shù)據(jù)庫系統(tǒng)(MongoDB，HDFS，Cassandra，CouchDB，Oracle，MySQL和NoSQL)都具有良好的理解和工作知識(shí)。
統(tǒng)計(jì)–統(tǒng)計(jì)是大數(shù)據(jù)分析領(lǐng)域的基礎(chǔ)。任何尋求成為大數(shù)據(jù)分析專業(yè)人士的個(gè)人都需要具有廣泛的統(tǒng)計(jì)知識(shí)和線性代數(shù)知識(shí)。個(gè)人應(yīng)了解諸如概率分布，假設(shè)檢驗(yàn)框架，統(tǒng)計(jì)數(shù)據(jù)和隨機(jī)變量之類的概念。
業(yè)務(wù)敏銳度–由于數(shù)據(jù)分析人員會(huì)驗(yàn)證，收集，排序和評(píng)估數(shù)據(jù)，因此他們需要在工作領(lǐng)域中擁有豐富的知識(shí)。它們?cè)跇I(yè)務(wù)和統(tǒng)計(jì)方面都非常出色，但在編程方面卻不是。
大數(shù)據(jù)工具 –處理大數(shù)據(jù)時(shí)，你需要意識(shí)到你將根據(jù)項(xiàng)目和任務(wù)的類型使用不同類型的工具。現(xiàn)在，要實(shí)現(xiàn)此目標(biāo)，你需要在Impala，Pig，Hive，Hadoop，HBase，YARN，F(xiàn)lume和HDFS等大數(shù)據(jù)工具中擁有實(shí)踐知識(shí)。
關(guān)于數(shù)據(jù)分析師必備職業(yè)技能有哪些，青藤小編就和您分享到這里了。如果您對(duì)大數(shù)據(jù)工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關(guān)于數(shù)據(jù)分析師、大數(shù)據(jù)工程師的技巧及素材等內(nèi)容，可以點(diǎn)擊本站的其他文章進(jìn)行學(xué)習(xí)。
隨著大數(shù)據(jù)時(shí)代的到來，涌現(xiàn)了各種新職業(yè)和崗位包括數(shù)據(jù)分析師。那么數(shù)據(jù)分析是具體是做什么的呢？
方法/步驟
1.1. 制作報(bào)表
1、處理數(shù)據(jù)分析工作常常根據(jù)業(yè)務(wù)需求，用各種圖表來展示各種指標(biāo)數(shù)據(jù)，簡(jiǎn)單明了地展示各種指標(biāo)的變化趨勢(shì)，方便更好的得出結(jié)論，做出相關(guān)決策。其中：折線圖傳遞變化趨勢(shì)的信息、餅狀圖傳遞組成成分的信息、柱狀圖傳遞數(shù)值大小的信息、散點(diǎn)圖傳遞數(shù)據(jù)集中度的信息、面積圖傳遞數(shù)值累積的信息。
2、常用報(bào)表開發(fā)工具有BO、FineReprot、JasperReports、潤乾、congos、biee等，最簡(jiǎn)單的就是從execl報(bào)表開始做數(shù)據(jù)分析。
1.2. 異常數(shù)據(jù)分析
1、所有不符合隨機(jī)波動(dòng)的數(shù)據(jù)概括為異常數(shù)據(jù)。
2、異常數(shù)據(jù)判斷依據(jù)：此項(xiàng)指標(biāo)的歷史波動(dòng)范圍，來源于你的數(shù)據(jù)敏感度。
3、處理流程：發(fā)現(xiàn)異常--分析原因--給出方案--推動(dòng)執(zhí)行--監(jiān)控效果--反思總結(jié)。
1.3. SQL查詢語言
數(shù)據(jù)存儲(chǔ)基本是存放在各種數(shù)據(jù)庫包括mysql、oracle、nosql、sysbase等等，因此要學(xué)會(huì)、掌握sql查詢語句、存儲(chǔ)過程、函數(shù)等，以此更好開展數(shù)據(jù)分析工作。
1.4. 數(shù)據(jù)需求
1、處理數(shù)據(jù)需求對(duì)于數(shù)據(jù)分析師而言，最關(guān)鍵的是要足夠了解業(yè)務(wù)。
2、數(shù)據(jù)需求流程
1.5. 項(xiàng)目性分析
充分不必要條件。 當(dāng)然如果你認(rèn)為SQL查詢也算敲代碼的話，那就需要。
實(shí)際上數(shù)據(jù)分析師的業(yè)務(wù)分類有很多，比如企業(yè)里做經(jīng)營業(yè)務(wù)分析的熟一點(diǎn)Excel+業(yè)務(wù)知識(shí)就好；偏商業(yè)的數(shù)據(jù)分析師，可能會(huì)點(diǎn)ppt和商業(yè)邏輯經(jīng)濟(jì)思維就可以滿足基本要求；偏工程方面的數(shù)據(jù)分析師可能對(duì)于代碼的要求會(huì)高一些，要會(huì)個(gè)Python,R甚至?xí)osql,hadoop之類的。
所以問需不需要敲代碼其實(shí)不太恰當(dāng)，應(yīng)該問數(shù)據(jù)分析師什么時(shí)候需要敲代碼？
就我的理解可能有以下幾種情況：
1.提需求給IT導(dǎo)數(shù)據(jù)成為工作瓶頸
通常你作為運(yùn)營或者數(shù)據(jù)分析者，可能因?yàn)闄?quán)限的問題，你需要把需求給到IT幫你導(dǎo)你需要的數(shù)據(jù)?？墒穷l發(fā)如此的時(shí)候，尤其是如果你擔(dān)心IT方給你的數(shù)據(jù)其實(shí)不是你想要的數(shù)據(jù)時(shí)（當(dāng)然清楚字段含義，數(shù)據(jù)來源也是非常關(guān)鍵的，數(shù)據(jù)流轉(zhuǎn)的業(yè)務(wù)邏輯清楚之后，也要明白對(duì)應(yīng)到管理員后臺(tái)（前端顯示）數(shù)據(jù)的數(shù)理邏輯等），你們之間的溝通成本可能就會(huì)非常高，這個(gè)時(shí)候最好的辦法就是你自己會(huì)。
2.處理大量數(shù)據(jù)時(shí)
另外，由于傳統(tǒng)工具性能上的限制，在處理大規(guī)模數(shù)據(jù)時(shí)，必可避免的出現(xiàn)速度很慢。比如你用excel處理百萬行數(shù)據(jù)時(shí)（Excel最大也只能支持100萬多一點(diǎn)行），這個(gè)時(shí)候代碼就可以大幅度提高處理效率，甚至還可以在下次處理時(shí)復(fù)用。（文/艾萌atanqing，一個(gè)略懂?dāng)?shù)據(jù)分析的心理咨詢師）
數(shù)據(jù)分析是一門專業(yè)且跨越多個(gè)領(lǐng)域的學(xué)科，我整理了數(shù)據(jù)分析師看的書，希望對(duì)你有所幫助：
數(shù)據(jù)分析師的必讀書單：Excel
《誰說菜鳥不會(huì)數(shù)據(jù)分析》
知名度比較高的一套書，適合新手，優(yōu)點(diǎn)是它和數(shù)據(jù)分析結(jié)合，而不是單純地學(xué)習(xí)函數(shù)。學(xué)會(huì)函數(shù)適用的場(chǎng)景和過程比它本身更重要。
是否需要學(xué)習(xí)VBA是仁者見仁的答案。我個(gè)人不建議。Excel VBA的最大優(yōu)勢(shì)是適用性廣，哪怕去其他行業(yè)其他職位，都離不開Excel，這時(shí)候它就是一個(gè)工作加分的亮點(diǎn)。但是在互聯(lián)網(wǎng)行業(yè)，對(duì)數(shù)據(jù)分析師，VBA的性價(jià)比就不高了。
這里只推薦一本，因?yàn)槲揖头^上面這本，還沒全看…
數(shù)據(jù)分析師的必讀書單：數(shù)據(jù)可視化
數(shù)據(jù)可視化的書不多。市面上多以編程為主，面向新手和設(shè)計(jì)的教程寥寥無幾。 如果只是了解圖表，看Excel的書籍也管用。
內(nèi)容很豐富，涉及可視化的方方面面，也囊括更類編程語言和設(shè)計(jì)軟件：Python+JS+R+Excel。作者還有另外一本書《數(shù)據(jù)之美》。
可視化是一門側(cè)重靈感的學(xué)科，有一種入門技巧是從他人設(shè)計(jì)中學(xué)習(xí)，從模仿開始，了解他人是如何設(shè)計(jì)的，這個(gè)網(wǎng)絡(luò)上有大量的信息圖可以參考。當(dāng)然數(shù)據(jù)分析師更需要的是如何發(fā)現(xiàn)，別只學(xué)習(xí)展示。
英文足夠好，可以看Edward Tufte的著作：《The Visual Display of Quantitative Information》、《Envisioning Information》、《Beautiful Evidence》。他是數(shù)據(jù)可視化的領(lǐng)軍人物，他的理念是反對(duì)為藝術(shù)效果而混淆或者簡(jiǎn)化數(shù)據(jù)。暫時(shí)沒有中文版。
數(shù)據(jù)分析師的必讀書單：分析思維
《金字塔原理》
分析思維首推《金字塔原理》，金字塔原理有些人說它晦澀難懂，我認(rèn)為是芭芭拉這個(gè)老太有騙稿費(fèi)之嫌，本書包含了報(bào)告、寫文、演講等諸多內(nèi)容?？梢约?xì)看可以快看。另外還有一本同名案例集，有興趣可以買。
另外麥肯錫相關(guān)的書籍還有《麥肯錫意識(shí)》《麥肯錫工具》《麥肯錫方法》等。
《深入淺出數(shù)據(jù)分析》
深入淺出系列是對(duì)新手非常友好的叢書，用生動(dòng)但啰嗦的語言講解案例。厚厚的一本書翻起來很快。本書涉及的基礎(chǔ)概念比較廣，包含一點(diǎn)統(tǒng)計(jì)學(xué)知識(shí)，學(xué)下來對(duì)數(shù)據(jù)分析思維會(huì)有一個(gè)大概了解。
《精益數(shù)據(jù)分析》
國外的精益系列一直以互聯(lián)網(wǎng)創(chuàng)業(yè)作內(nèi)容導(dǎo)向，本書也屬于此類。如果是互聯(lián)網(wǎng)行業(yè)相關(guān)，可以看看。它介紹了不同領(lǐng)域的指標(biāo)，以及產(chǎn)品不同時(shí)期的側(cè)重點(diǎn)。案例都是歐美，這部分做參考用。
接下來的幾本，是興趣向讀物?！逗谔禊Z》能拓展思維，講敘了不確定性?！端伎嫉募夹g(shù)》，大前研一的著作，也是咨詢類經(jīng)典。如果對(duì)咨詢向的分析感興趣，還可以看BCG系列，或者刷CaseBook?！杜行运季S》，則是教你如何形成理性思維。
數(shù)據(jù)分析師的必讀書單：SQL
數(shù)據(jù)庫有很多種，常見有Oracle，MySQL，SQL Server等。我推薦學(xué)習(xí)MySQL，這是互聯(lián)網(wǎng)公司的主流數(shù)據(jù)庫。以后學(xué)習(xí)Hadoop生態(tài)時(shí)，MySQL也是最接近Hive語法的語言。
MySQL不需要專門看書學(xué)習(xí)，因?yàn)閿?shù)據(jù)分析師以查詢?yōu)橹?，不需要考慮數(shù)據(jù)性能、數(shù)據(jù)安全和架構(gòu)的問題。使用搜索引擎能解決90%的問題，我就是w3cschool學(xué)的。
《MySQL必知必會(huì)》
如果真想買書看，可以看這本，適合新手向的學(xué)習(xí)，看基礎(chǔ)概念和查詢相關(guān)的章節(jié)即可。網(wǎng)絡(luò)上大部分MySQL都是偏DBA的'。
如果想深入，可以看《高性能MySQL》，對(duì)分析師沒啥用。至于另外一個(gè)方向NoSQL，對(duì)入門者還是小眾了些。
如果有余力，就學(xué)習(xí)正則表達(dá)式吧，清洗數(shù)據(jù)的工作就靠它了。
數(shù)據(jù)分析師的必讀書單：統(tǒng)計(jì)學(xué)
統(tǒng)計(jì)學(xué)是比較大的范圍，分析師往后還需要學(xué)線性代數(shù)和矩陣、關(guān)系代數(shù)等。初學(xué)者不需要掌握所有公式定理的數(shù)學(xué)推導(dǎo)，懂得如何應(yīng)用就行用。
《深入淺出統(tǒng)計(jì)學(xué)》
大概是最啰嗦的深入淺出系列，從賣橡皮鴨到賭博機(jī)的案例，囊括了常用的統(tǒng)計(jì)分析如假設(shè)檢驗(yàn)、概率分布、描述統(tǒng)計(jì)、貝葉斯等。書本注重應(yīng)用和趣味性，數(shù)學(xué)推理一般。
《商務(wù)與經(jīng)濟(jì)統(tǒng)計(jì)》
國外的經(jīng)典教材，已經(jīng)出到第十二版了。國外教材都有豐富有趣的案例，所以讀起來會(huì)比國內(nèi)的輕松不少。如果你還在讀書，不妨買這本看一看。
名字既然有商務(wù)與經(jīng)濟(jì)，所以書中輔以了大量的相關(guān)案例。書內(nèi)容很多，看起來不會(huì)快，適合細(xì)讀。
《The Elements of Statistical Learning》
稍微有一些難度的英文書籍，屬于進(jìn)階版統(tǒng)計(jì)學(xué)，國外很推崇。如果要往機(jī)器學(xué)習(xí)發(fā)展，這本書可以打下很好的基礎(chǔ)。
以上書籍的難度是逐步遞增的。統(tǒng)計(jì)學(xué)是機(jī)器學(xué)習(xí)的基礎(chǔ)，是概率、矩陣等實(shí)際應(yīng)用?，F(xiàn)在已經(jīng)有很多統(tǒng)計(jì)工具，Excel的分析工具庫、傳統(tǒng)行業(yè)的SPSS、SAS以及R、Python等，使用過程都不用計(jì)算推導(dǎo)，大學(xué)考試才會(huì)考，現(xiàn)在都是計(jì)算機(jī)解決，輕松不少。
數(shù)據(jù)分析師的必讀書單：業(yè)務(wù)知識(shí)
不同領(lǐng)域的業(yè)務(wù)知識(shí)都不一樣，這里以互聯(lián)網(wǎng)舉例。
《增長黑客》
增長黑客的概念就是隨著這本書的暢銷傳播開來。增長黑客在國內(nèi)即是數(shù)據(jù)分析+運(yùn)營/產(chǎn)品的復(fù)合型人才。這本書好的地方在于拓展思路，告訴我們數(shù)據(jù)能夠做什么，尤其是連AB測(cè)試都不清楚的新人。
實(shí)際涉及的業(yè)務(wù)知識(shí)不多，我推薦，是希望新人能夠了解數(shù)據(jù)驅(qū)動(dòng)的概念，這本算是我走上數(shù)據(jù)化運(yùn)營的啟蒙讀物了。
《從零開始做運(yùn)營》
知乎亮哥的書籍，互聯(lián)網(wǎng)所有的數(shù)據(jù)都是和運(yùn)營相關(guān)的，如果是新手，就以此學(xué)習(xí)業(yè)務(wù)知識(shí)。如果已經(jīng)工作很多，就略過吧。
大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析師該了解哪些事情
近幾年來，大數(shù)據(jù)養(yǎng)精蓄銳，從剛開始的無人談及，到現(xiàn)在的盛行談?wù)?，就這樣走進(jìn)了公眾的視野。什么是大數(shù)據(jù)呢?對(duì)于數(shù)據(jù)分析師，它有意味著什么?處在人人高談的大數(shù)據(jù)時(shí)代，數(shù)據(jù)分析師該了解哪些內(nèi)容，本文將為您解答。
用Google搜索了一下“BigData”，得到了19,600,000個(gè)結(jié)果……而使用同樣的詞語，在兩年前你幾乎搜索不到什么內(nèi)容，而現(xiàn)在大數(shù)據(jù)的內(nèi)容被大肆宣傳，內(nèi)容多得讓人眼花繚亂。而這些內(nèi)容主要是來自IBM、麥肯錫和O’Reilly ，大多數(shù)文章都是基于營銷目的的夸夸其談，對(duì)真實(shí)的情況并不了解，有些觀點(diǎn)甚至是完全錯(cuò)誤的。我問自己…… 大數(shù)據(jù)之于數(shù)據(jù)分析師，它意味著什么呢?如下圖所示，谷歌趨勢(shì)顯示，與“網(wǎng)站分析”(web analytics)和”商業(yè)智能”(business intelligence)較為平穩(wěn)的搜索曲線相比，“大數(shù)據(jù)”(big data)的搜索量迎來了火箭式的大幅度增長。
被神話的大數(shù)據(jù)
Gartner把“大數(shù)據(jù)”的發(fā)展階段定位在“社交電視”和“移動(dòng)機(jī)器人”之間，正向著中部期望的高峰點(diǎn)邁進(jìn)，而現(xiàn)在是達(dá)到較為成熟的階段前的二至五年。這種定位有著其合理性。各種奏唱著“大數(shù)據(jù)”頌歌的產(chǎn)品數(shù)量正在迅速增長，大眾媒體也進(jìn)入了“大數(shù)據(jù)”主題的論辯中，比如紐約時(shí)報(bào)的“大數(shù)據(jù)的時(shí)代“，以及一系列在福布斯上發(fā)布的題為” 大數(shù)據(jù)技術(shù)評(píng)估檢查表“的文章。
進(jìn)步的一面體現(xiàn)在
，大數(shù)據(jù)的概念正在促使內(nèi)部組織的文化發(fā)生轉(zhuǎn)變，對(duì)過時(shí)的“商務(wù)智能”形成挑戰(zhàn)，并促進(jìn)了“分析”意識(shí)的提升。
基于大數(shù)據(jù)的創(chuàng)新技術(shù)可以很容易地被應(yīng)用到類似數(shù)據(jù)分析的各種環(huán)境中。值得一提的是，企業(yè)組織通過應(yīng)用先進(jìn)的業(yè)務(wù)分析，業(yè)務(wù)將變得更廣泛、更復(fù)雜，價(jià)值也更高，而傳統(tǒng)的網(wǎng)站分析受到的關(guān)注將會(huì)有所減弱。
大數(shù)據(jù)的定義
什么是“大數(shù)據(jù)”，目前并沒有統(tǒng)一的定義。維基百科提供的定義有些拙劣，也不完整：“ 大數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過主流的工具，在合理的時(shí)間內(nèi)擷取、管理、處理、并整理成為人們所能解讀的信息 “。
IBM 提供了一個(gè)充分的簡(jiǎn)單易懂的概述：
大數(shù)據(jù)有以下三個(gè)特點(diǎn)：大批量(Volume)、高速度(Velocity)和多樣化(Variety) 。 大批量 – 大數(shù)據(jù)體積龐大。企業(yè)里到處充斥著數(shù)據(jù)，信息動(dòng)不動(dòng)就達(dá)到了TB級(jí)，甚至是PB級(jí)。 高速度 – 大數(shù)據(jù)通常對(duì)時(shí)間敏感。為了最大限度地發(fā)揮其業(yè)務(wù)價(jià)值，大數(shù)據(jù)必須及時(shí)使用起來。 多樣化 – 大數(shù)據(jù)超越了結(jié)構(gòu)化數(shù)據(jù)，它包括所有種類的非結(jié)構(gòu)化數(shù)據(jù)，如文本、音頻、視頻、點(diǎn)擊流、日志文件等等都可以是大數(shù)據(jù)的組成部分。 MSDN的布萊恩·史密斯在IBM的基礎(chǔ)上增加了第四點(diǎn)： 變異性 – 數(shù)據(jù)可以使用不同的定義方式來進(jìn)行解釋。不同的問題需要不同的闡釋。
從技術(shù)角度看大數(shù)據(jù)
大數(shù)據(jù)包括了以下幾個(gè)方面：數(shù)據(jù)采集、存儲(chǔ)、搜索、共享、分析和可視化，而這些步驟在商務(wù)智能中也可以找到。在皮特·沃登的“ 大數(shù)據(jù)詞匯表 “中，囊括了60種創(chuàng)新技術(shù)，并提供了相關(guān)的大數(shù)據(jù)技術(shù)概念的簡(jiǎn)要概述。
獲取 ：數(shù)據(jù)的獲取包括了各種數(shù)據(jù)源、內(nèi)部或外部的、結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)?！按蠖鄶?shù)公共數(shù)據(jù)源的結(jié)構(gòu)都不清晰，充滿了噪音，而且還很難獲得?！?技術(shù)： Google Refine、Needlebase、ScraperWiki、BloomReach 。
序列化：“你在努力把你的數(shù)據(jù)變成有用的東西，而這些數(shù)據(jù)會(huì)在不同的系統(tǒng)間傳遞，并可能存儲(chǔ)在不同節(jié)點(diǎn)的文件中。這些操作都需要某種序列化，因?yàn)閿?shù)據(jù)處理的不同階段可能需要不同的語言和API。當(dāng)你在處理非常大量的記錄時(shí)，該如何表示和存儲(chǔ)數(shù)據(jù)，你所做的選擇對(duì)你的存儲(chǔ)要求和性能將產(chǎn)生巨大影響。 技術(shù)： JSON、BSON、Thrift、Avro、Google Protocol Buffers 。
存儲(chǔ) ：“大規(guī)模的數(shù)據(jù)處理操作使用了全新的方式來訪問數(shù)據(jù)，而傳統(tǒng)的文件系統(tǒng)并不適用。它要求數(shù)據(jù)能即時(shí)大批量的讀取和寫入。效率優(yōu)先，而那些有助于組織信息的易于用戶使用的目錄功能可能就顯得沒那么重要。因?yàn)閿?shù)據(jù)的規(guī)模巨大，這也意味著它需要被存儲(chǔ)在多臺(tái)分布式計(jì)算機(jī)上。“ 技術(shù)： Amazon S3、Hadoop分布式文件系統(tǒng) 。
服務(wù)器 ：“云”是一個(gè)非常模糊的術(shù)語，我們可能對(duì)它所表示的內(nèi)容并不很了解，但目前在計(jì)算資源的可用性方面已有了真正突破性的發(fā)展。以前我們都習(xí)慣于購買或長期租賃實(shí)體機(jī)器，而現(xiàn)在更常見的情況是直接租用正運(yùn)行著虛擬實(shí)例的計(jì)算機(jī)來作為服務(wù)器。這樣供應(yīng)商可以以較為經(jīng)濟(jì)的價(jià)格為用戶提供一些短期的靈活的機(jī)器租賃服務(wù)，這對(duì)于很多數(shù)據(jù)處理應(yīng)用程序來說這是再理想不過的事情。因?yàn)橛辛四軌蚩焖賳?dòng)的大型集群，這樣使用非常小的預(yù)算處理非常大的數(shù)據(jù)問題就可能成為現(xiàn)實(shí)?！?技術(shù)： Amazon EC2、Google App Engine、Amazon Elastic Beanstalk、Heroku 。
NoSQL：在IT行為中，NoSQL(實(shí)際上意味著“不只是SQL”)是一類廣泛的數(shù)據(jù)庫管理系統(tǒng)，它與關(guān)系型數(shù)據(jù)庫管理系統(tǒng)(RDBMS)的傳統(tǒng)模型有著一些顯著不同，而最重要的是，它們并不使用SQL作為其主要的查詢語言。這些數(shù)據(jù)存儲(chǔ)可能并不需要固定的表格模式，通常不支持連接操作，也可能無法提供完整的ACID(原子性—Atomicity、一致性—Consistency、隔離性—Isolation、持久性—Durability)的保證，而且通常從水平方向擴(kuò)展(即通過添加新的服務(wù)器以分?jǐn)偣ぷ髁浚皇巧?jí)現(xiàn)有的服務(wù)器)。 技術(shù)： Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort 。
處理 ：“從數(shù)據(jù)的海洋中獲取你想要的簡(jiǎn)潔而有價(jià)值的信息是一件挑戰(zhàn)性的事情，不過現(xiàn)在的數(shù)據(jù)系統(tǒng)已經(jīng)有了長足的進(jìn)步，這可以幫助你把數(shù)據(jù)集到轉(zhuǎn)變成為清晰而有意義的內(nèi)容。在數(shù)據(jù)處理的過程中你會(huì)遇上很多不同的障礙，你需要使用到的工具包括了快速統(tǒng)計(jì)分析系統(tǒng)以及一些支持性的助手程序?！?技術(shù)： R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop 。 初創(chuàng)公司： Continuuity、Wibidata、Platfora 。
MapReduce ：“在傳統(tǒng)的關(guān)系數(shù)據(jù)庫的世界里，在信息被加載到存儲(chǔ)器后，所有的數(shù)據(jù)處理工作才能開始，使用的是一門專用的基于高度結(jié)構(gòu)化和優(yōu)化過的數(shù)據(jù)結(jié)構(gòu)的查詢語言。這種方法由Google首創(chuàng)，并已被許多網(wǎng)絡(luò)公司所采用，創(chuàng)建一個(gè)讀取和寫入任意文件格式的管道，中間的結(jié)果橫跨多臺(tái)計(jì)算機(jī)進(jìn)行計(jì)算，以文件的形式在不同的階段之間傳送?！?技術(shù)： Hadoop和Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 。
自然語言處理 ：“自然語言處理(NLP)……重點(diǎn)是利用好凌亂的、由人類創(chuàng)造的文本并提取有意義的信息?！?技術(shù)： 自然語言工具包Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais。
機(jī)器學(xué)習(xí)：“機(jī)器學(xué)習(xí)系統(tǒng)根據(jù)數(shù)據(jù)作出自動(dòng)化決策。系統(tǒng)利用訓(xùn)練的信息來處理后續(xù)的數(shù)據(jù)點(diǎn)，自動(dòng)生成類似于推薦或分組的輸出結(jié)果。當(dāng)你想把一次性的數(shù)據(jù)分析轉(zhuǎn)化成生產(chǎn)服務(wù)的行為，而且這些行為在沒有監(jiān)督的情況下也能根據(jù)新的數(shù)據(jù)執(zhí)行類似的動(dòng)作，這些系統(tǒng)就顯得特別有用。亞馬遜的產(chǎn)品推薦功能就是這其中最著名的一項(xiàng)技術(shù)應(yīng)用?！?技術(shù)： WEKA、Mahout、scikits.learn、SkyTree 。
可視化 ：“要把數(shù)據(jù)的含義表達(dá)出來，一個(gè)最好的方法是從數(shù)據(jù)中提取出重要的組成部分，然后以圖形的方式呈現(xiàn)出來。這樣就可以讓大家快速探索其中的規(guī)律而不是僅僅籠統(tǒng)的展示原始數(shù)值，并以此簡(jiǎn)潔地向最終用戶展示易于理解的結(jié)果。隨著Web技術(shù)的發(fā)展，靜態(tài)圖像甚至交互式對(duì)象都可以用于數(shù)據(jù)可視化的工作中，展示和探索之間的界限已經(jīng)模糊。“ 技術(shù)： GraphViz、Processing、Protovis、Google Fusion Tables、Tableau 。
大數(shù)據(jù)的挑戰(zhàn)
最近舉行的世界經(jīng)濟(jì)論壇也在討論大數(shù)據(jù)，會(huì)議確定了一些大數(shù)據(jù)應(yīng)用的機(jī)會(huì)，但在數(shù)據(jù)共用的道路上仍有兩個(gè)主要的問題和障礙。
1.隱私和安全
正如Craig Ludloff在“隱私和大數(shù)據(jù)“的專題中所提到的，一個(gè)難以避免的危機(jī)正在形成，大數(shù)據(jù)將瓦解并沖擊著我們生活的很多方面，這些方面包括私隱權(quán)、政府或國際法規(guī)、隱私權(quán)的安全性和商業(yè)化、市場(chǎng)營銷和廣告……試想一下歐盟的cookie法規(guī)，或是這樣的一個(gè)簡(jiǎn)單情景，一個(gè)公司可以輕易地在社交網(wǎng)絡(luò)上收集各種信息并建立完整的資料檔案，這其中包括了人們?cè)敿?xì)的電子郵箱地址、姓名、地理位置、興趣等等。這真是一件嚇人的事情!
2.人力資本
麥肯錫全球研究所的報(bào)告顯示 ，美國的數(shù)據(jù)人才的缺口非常大，還將需要140,000到190,000個(gè)有著“深度分析”專業(yè)技能的工作人員和1.500個(gè)精通數(shù)據(jù)的經(jīng)理。尋找熟練的“網(wǎng)站分析”人力資源是一個(gè)挑戰(zhàn)，另外，要培養(yǎng)自己的真正擁有分析技能的人員，需要學(xué)習(xí)的內(nèi)容很多，這無疑是另一個(gè)大挑戰(zhàn)。
大數(shù)據(jù)的價(jià)值創(chuàng)造
很多大數(shù)據(jù)的內(nèi)容都提及了價(jià)值創(chuàng)造、競(jìng)爭(zhēng)優(yōu)勢(shì)和生產(chǎn)率的提高。要利用大數(shù)據(jù)創(chuàng)造價(jià)值，主要有以下六種方式。
透明度 ：讓利益相關(guān)人員都可以及時(shí)快速訪問數(shù)據(jù)。實(shí)驗(yàn) ：?jiǎn)⒂脤?shí)驗(yàn)以發(fā)現(xiàn)需求，展示不同的變體并提升效果。隨著越來越多的交易數(shù)據(jù)以數(shù)字形式存儲(chǔ)，企業(yè)可以收集更準(zhǔn)確、更詳細(xì)的績效數(shù)據(jù)。決策支持 ：使用自動(dòng)化算法替換/支持人類決策，這可以改善決策，減少風(fēng)險(xiǎn)，并發(fā)掘被隱藏的但有價(jià)值的見解。創(chuàng)新 ：大數(shù)據(jù)有助于企業(yè)創(chuàng)造出新的產(chǎn)品和服務(wù)，或提升現(xiàn)有的產(chǎn)品和服務(wù)，發(fā)明新的商業(yè)模式或完善原來的商業(yè)模式。細(xì)分 ：更精細(xì)的種群細(xì)分，可以帶來不同的自定義行為。
工業(yè)領(lǐng)域的增長 ：有了足夠的和經(jīng)過適當(dāng)培訓(xùn)的人力資源，那些重要的成果才會(huì)成為現(xiàn)實(shí)并產(chǎn)生價(jià)值。
數(shù)據(jù)分析的機(jī)會(huì)領(lǐng)域
當(dāng)“網(wǎng)站分析”發(fā)展到“數(shù)據(jù)智能“，毫無疑問，數(shù)據(jù)分析人員也工作也應(yīng)該發(fā)生一些轉(zhuǎn)變，過去的工作主要是以網(wǎng)站為中心并制定渠道的具體戰(zhàn)術(shù)，而在將來則需要負(fù)責(zé)更具戰(zhàn)略性的、面向業(yè)務(wù)和(大)數(shù)據(jù)專業(yè)知識(shí)的工作。
數(shù)據(jù)分析師的主要關(guān)注點(diǎn)不應(yīng)該是較低層的基礎(chǔ)設(shè)施和工具開發(fā)。以下幾點(diǎn)是數(shù)據(jù)分析的機(jī)會(huì)領(lǐng)域：
處理：掌握正確的工具以便可以在不同條件下(不同的數(shù)據(jù)集、不同的業(yè)務(wù)環(huán)境等)進(jìn)行高效的分析。目前網(wǎng)站分析專家們最常用的工具無疑是各類網(wǎng)站分析工具，大多數(shù)人并不熟悉商業(yè)智能和統(tǒng)計(jì)分析工具如Tableau、SAS、Cognos等的使用。擁有這些工具的專業(yè)技能將對(duì)數(shù)據(jù)分析人員的發(fā)展大有好處。
NLP：學(xué)習(xí)非結(jié)構(gòu)化數(shù)據(jù)分析的專業(yè)技能，比如社交媒體、呼叫中心日志和郵件的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)。從數(shù)據(jù)處理的角度來看，在這個(gè)行業(yè)中我們的目標(biāo)應(yīng)該是確定和掌握一些最合適的分析方法和工具，無論是社會(huì)化媒體情感分析還是一些更復(fù)雜的平臺(tái)。
可視化 ：掌握儀表板的展示技能，或者寬泛點(diǎn)來說，掌握數(shù)據(jù)可視化的技術(shù)是擺在數(shù)據(jù)分析師面前一個(gè)明顯的機(jī)會(huì)(注：不要把數(shù)據(jù)可視化與現(xiàn)在網(wǎng)絡(luò)營銷中常用的“信息圖”infographics相混淆)。
行動(dòng)計(jì)劃
在大數(shù)時(shí)代，其中一個(gè)最大的挑戰(zhàn)將是滿足需求和技術(shù)資源的供給。當(dāng)前的“網(wǎng)站分析”的基礎(chǔ)普遍并不足夠成熟以支持真正的大數(shù)據(jù)的使用，填補(bǔ)技能差距，越來越多的“網(wǎng)站分析師”將成長為“數(shù)據(jù)分析師”。
1、數(shù)學(xué)知識(shí)
數(shù)學(xué)知識(shí)是數(shù)據(jù)分析師的基礎(chǔ)知識(shí)。對(duì)于初級(jí)數(shù)據(jù)分析師，了解一些描述統(tǒng)計(jì)相關(guān)的基礎(chǔ)內(nèi)容，有一定的公式計(jì)算能力即可，了解常用統(tǒng)計(jì)模型算法則是加分。
對(duì)于高級(jí)數(shù)據(jù)分析師，統(tǒng)計(jì)模型相關(guān)知識(shí)是必備能力，線性代數(shù)（主要是矩陣計(jì)算相關(guān)知識(shí)）最好也有一定的了解。
而對(duì)于數(shù)據(jù)挖掘工程師，除了統(tǒng)計(jì)學(xué)以外，各類算法也需要熟練使用，對(duì)數(shù)學(xué)的要求是最高的。
所以數(shù)據(jù)分析并非一定要數(shù)學(xué)能力非常好才能學(xué)習(xí)，只要看你想往哪個(gè)方向發(fā)展，數(shù)據(jù)分析也有偏“文”的一面，特別是女孩子，可以往文檔寫作這一方向發(fā)展。
2、分析工具
對(duì)于初級(jí)數(shù)據(jù)分析師，玩轉(zhuǎn)Excel是必須的，數(shù)據(jù)透視表和公式使用必須熟練，VBA是加分。另外，還要學(xué)會(huì)一個(gè)統(tǒng)計(jì)分析工具，SPSS作為入門是比較好的。
對(duì)于高級(jí)數(shù)據(jù)分析師，使用分析工具是核心能力，VBA基本必備，SPSS/SAS/R至少要熟練使用其中之一，其他分析工具（如Matlab）視情況而定。
對(duì)于數(shù)據(jù)挖掘工程師……嗯，會(huì)用用Excel就行了，主要工作要靠寫代碼來解決呢。
3、編程語言
對(duì)于初級(jí)數(shù)據(jù)分析師，會(huì)寫SQL查詢，有需要的話寫寫Hadoop和Hive查詢，基本就OK了。
對(duì)于高級(jí)數(shù)據(jù)分析師，除了SQL以外，學(xué)習(xí)Python是很有必要的，用來獲取和處理數(shù)據(jù)都是事半功倍。當(dāng)然其他編程語言也是可以的。
對(duì)于數(shù)據(jù)挖掘工程師，Hadoop得熟悉，Python/Java/C++至少得熟悉一門，Shell得會(huì)用……總之編程語言絕對(duì)是數(shù)據(jù)挖掘工程師的最核心能力了。
4、業(yè)務(wù)理解
業(yè)務(wù)理解說是數(shù)據(jù)分析師所有工作的基礎(chǔ)也不為過，數(shù)據(jù)的獲取方案、指標(biāo)的選取、乃至最終結(jié)論的洞察，都依賴于數(shù)據(jù)分析師對(duì)業(yè)務(wù)本身的理解。
對(duì)于初級(jí)數(shù)據(jù)分析師，主要工作是提取數(shù)據(jù)和做一些簡(jiǎn)單圖表，以及少量的洞察結(jié)論，擁有對(duì)業(yè)務(wù)的基本了解就可以。
對(duì)于高級(jí)數(shù)據(jù)分析師，需要對(duì)業(yè)務(wù)有較為深入的了解，能夠基于數(shù)據(jù)，提煉出有效觀點(diǎn)，對(duì)實(shí)際業(yè)務(wù)能有所幫助。
對(duì)于數(shù)據(jù)挖掘工程師，對(duì)業(yè)務(wù)有基本了解就可以，重點(diǎn)還是需要放在發(fā)揮自己的技術(shù)能力上。
業(yè)務(wù)能力是優(yōu)秀數(shù)據(jù)分析師必備的，如果你之前對(duì)某一行業(yè)已經(jīng)非常熟悉，再學(xué)習(xí)數(shù)據(jù)分析，是非常正確的做法。剛畢業(yè)沒有行業(yè)經(jīng)驗(yàn)也可以慢慢培養(yǎng)，無需擔(dān)心。
4、邏輯思維
這項(xiàng)能力在我之前的文章中提的比較少，這次單獨(dú)拿出來說一下。
對(duì)于初級(jí)數(shù)據(jù)分析師，邏輯思維主要體現(xiàn)在數(shù)據(jù)分析過程中每一步都有目的性，知道自己需要用什么樣的手段，達(dá)到什么樣的目標(biāo)。
對(duì)于高級(jí)數(shù)據(jù)分析師，邏輯思維主要體現(xiàn)在搭建完整有效的分析框架，了解分析對(duì)象之間的關(guān)聯(lián)關(guān)系，清楚每一個(gè)指標(biāo)變化的前因后果，會(huì)給業(yè)務(wù)帶來的影響。
對(duì)于數(shù)據(jù)挖掘工程師，邏輯思維除了體現(xiàn)在和業(yè)務(wù)相關(guān)的分析工作上，還包括算法邏輯，程序邏輯等，所以對(duì)邏輯思維的要求也是最高的。
5、數(shù)據(jù)可視化
數(shù)據(jù)可視化說起來很高大上，其實(shí)包括的范圍很廣，做個(gè)PPT里邊放上數(shù)據(jù)圖表也可以算是數(shù)據(jù)可視化，所以我認(rèn)為這是一項(xiàng)普遍需要的能力。
對(duì)于初級(jí)數(shù)據(jù)分析師，能用Excel和PPT做出基本的圖表和報(bào)告，能清楚的展示數(shù)據(jù)，就達(dá)到目標(biāo)了。
對(duì)于高級(jí)數(shù)據(jù)分析師，需要探尋更好的數(shù)據(jù)可視化方法，使用更有效的數(shù)據(jù)可視化工具，根據(jù)實(shí)際需求做出或簡(jiǎn)單或復(fù)雜，但適合受眾觀看的數(shù)據(jù)可視化內(nèi)容。
對(duì)于數(shù)據(jù)挖掘工程師，了解一些數(shù)據(jù)可視化工具是有必要的，也要根據(jù)需求做一些復(fù)雜的可視化圖表，但通常不需要考慮太多美化的問題。
6、協(xié)調(diào)溝通
對(duì)于初級(jí)數(shù)據(jù)分析師，了解業(yè)務(wù)、尋找數(shù)據(jù)、講解報(bào)告，都需要和不同部門的人打交道，因此溝通能力很重要。
對(duì)于高級(jí)數(shù)據(jù)分析師，需要開始獨(dú)立帶項(xiàng)目，或者和產(chǎn)品做一些合作，因此除了溝通能力以外，還需要一些項(xiàng)目協(xié)調(diào)能力。
對(duì)于數(shù)據(jù)挖掘工程師，和人溝通技術(shù)方面內(nèi)容偏多，業(yè)務(wù)方面相對(duì)少一些，對(duì)溝通協(xié)調(diào)的要求也相對(duì)低一些。
7、快速學(xué)習(xí)
無論做數(shù)據(jù)分析的哪個(gè)方向，初級(jí)還是高級(jí)，都需要有快速學(xué)習(xí)的能力，學(xué)業(yè)務(wù)邏輯、學(xué)行業(yè)知識(shí)、學(xué)技術(shù)工具、學(xué)分析框架……數(shù)據(jù)分析領(lǐng)域中有學(xué)不完的內(nèi)容，需要大家有一顆時(shí)刻不忘學(xué)習(xí)的心。
快速學(xué)習(xí)非常重要，只有快速進(jìn)入這一行業(yè)，才能搶占先機(jī)，獲得更多的經(jīng)驗(yàn)和機(jī)會(huì)。如果你完全零基礎(chǔ)想要盡快進(jìn)入數(shù)據(jù)分析行業(yè)，選擇一家專業(yè)的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)是個(gè)不錯(cuò)的選擇。縮短學(xué)習(xí)周期，提高學(xué)習(xí)效率，時(shí)間即金錢！
重慶分公司
重慶分公司
