零基礎(chǔ)自學(xué)大數(shù)據(jù)要學(xué)哪些內(nèi)容?

1. EXCEL、PPT(必須精通)

成都創(chuàng)新互聯(lián)是一家專注于成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)與策劃設(shè)計,興安網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)10年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:興安等地區(qū)。興安做網(wǎng)站價格咨詢:18982081108

數(shù)據(jù)工作者的基本姿態(tài)，話說本人技術(shù)并不是很好，但是起碼會操作;要會大膽秀自己，和業(yè)務(wù)部門交流需求，展示分析結(jié)果。技術(shù)上回VBA和數(shù)據(jù)透視就到頂了。

2. 數(shù)據(jù)庫類(必須學(xué))

初級只要會RDBMS就行了，看公司用哪個，用哪個學(xué)哪個。沒進(jìn)公司就學(xué)MySQL吧。

NoSQL可以在之后和統(tǒng)計學(xué)啥的一起學(xué)?；镜腘oSQL血MongoDB和Redis(緩存，嚴(yán)格意義上不算數(shù)據(jù)庫)，然后(選學(xué))可以了解各類NoSQL，基于圖的數(shù)據(jù)庫Neo4j，基于Column的數(shù)據(jù)庫BigTable，基于key-value的數(shù)據(jù)庫redis/cassendra，基于collection的數(shù)據(jù)庫MongoDB。

3. 統(tǒng)計學(xué)(必須學(xué))

如果要學(xué)統(tǒng)計學(xué)，重要概念是會描述性統(tǒng)計、假設(shè)檢驗、貝葉斯、極大似然法、回歸(特別是廣義線性回歸)、主成分分析。這些個用的比較多。也有學(xué)時間序列、bootstrap、非參之類的，這個看自己的意愿。

其他數(shù)學(xué)知識：線性代數(shù)常用(是很多后面的基礎(chǔ))，微積分不常用，動力系統(tǒng)、傅里葉分析看自己想進(jìn)的行業(yè)了。

4. 機器學(xué)習(xí)(數(shù)據(jù)分析師要求會選、用、調(diào))

常用的是幾個線性分類器、聚類、回歸、隨機森林、貝葉斯;不常用的也稍微了解一下;深度學(xué)習(xí)視情況學(xué)習(xí)。

5. 大數(shù)據(jù)(選學(xué)，有公司要求的話會用即可，不要求會搭環(huán)境)

hadoop基礎(chǔ)，包括hdfs、map-reduce、hive之類;后面接觸spark和storm再說了。

6. 工具類

語言：非大數(shù)據(jù)類R、Python最多;大數(shù)據(jù)可能還會用到scala和java。

其他框架、類庫(選學(xué))：爬蟲(requests、beautifulsoup、scrapy)，日志分析(常見elk)。

怎樣學(xué)習(xí)大數(shù)據(jù)？

首先我們要了解Java語言和Linux操作系統(tǒng)，這兩個是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)的順序不分前后。

Java ：只要了解一些基礎(chǔ)即可，做大數(shù)據(jù)不需要很深的Java 技術(shù)，學(xué)java SE 就相當(dāng)于有學(xué)習(xí)大數(shù)據(jù)基礎(chǔ)。

Linux：因為大數(shù)據(jù)相關(guān)軟件都是在Linux上運行的，所以Linux要學(xué)習(xí)的扎實一些，學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。還能讓你對以后新出的大數(shù)據(jù)技術(shù)學(xué)習(xí)起來更快。

Hadoop：這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個是必學(xué)的。Hadoop里面包括幾個組件HDFS、MapReduce和YARN，HDFS是存儲數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapReduce是對數(shù)據(jù)進(jìn)行處理計算的，它有個特點就是不管多大的數(shù)據(jù)只要給它時間它就能把數(shù)據(jù)跑完，但是時間可能不是很快所以它叫數(shù)據(jù)的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以后的Hbase也會用到它。它一般用來存放一些相互協(xié)作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對于我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。這里主要的是學(xué)習(xí)SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。當(dāng)然你也可以不用這個，直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的，當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。

Hive：這個東西對于會SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單，不會再費勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學(xué)會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確，出錯了給你發(fā)報警并能幫你重試程序，最重要的是還能幫你配置任務(wù)的依賴關(guān)系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲的并且key是唯一的，所以它能用來做數(shù)據(jù)的排重，它與MYSQL相比能存儲的數(shù)據(jù)量大很多。所以他常被用于大數(shù)據(jù)處理完成之后的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數(shù)據(jù)多了同樣也需要排隊處理，這樣與你協(xié)作的其它同學(xué)不會叫起來，你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來，你別怪他因為他不是搞大數(shù)據(jù)的，你可以跟他講我把數(shù)據(jù)放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當(dāng)然我們也可以利用這個工具來做線上實時數(shù)據(jù)的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(比如Kafka)的。

Spark：它是用來彌補基于MapReduce處理數(shù)據(jù)速度上的缺點，它的特點是把數(shù)據(jù)裝載到內(nèi)存中計算而不是去讀慢的要死進(jìn)化還特別慢的硬盤。特別適合做迭代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

如何學(xué)習(xí)及選擇大數(shù)據(jù)非關(guān)系型數(shù)據(jù)庫NoSQL

是的，NoSQL（非關(guān)系型數(shù)據(jù)庫）簡單來說，關(guān)系模型指的就是二維表格模型，而一個關(guān)系型數(shù)據(jù)庫就是由二維表及其之間的聯(lián)系組成的一個數(shù)據(jù)組織。 NoSQL最普遍的解釋是“非關(guān)系型的”，強調(diào)Key-Value Stores和文檔數(shù)據(jù)庫的優(yōu)點，而不是單純的反對RDBMS。

非關(guān)系型數(shù)據(jù)庫特點

1.可以處理超大量的數(shù)據(jù)。

2.運行在便宜的PC服務(wù)器集群上。PC集群擴充起來非常方便并且成本很低，避免了“sharding”操作的復(fù)雜性和成本。

3.擊碎了性能瓶頸。NoSQL的支持者稱，通過NoSQL架構(gòu)可以省去將Web或Java應(yīng)用和數(shù)據(jù)轉(zhuǎn)換成SQL友好格式的時間，執(zhí)行速度變得更快。

4.沒有過多的操作。

5.支持者來源于社區(qū)。因為NoSQL項目都是開源的，因此它們?nèi)狈?yīng)商提供的正式支持。這一點它們與大多數(shù)開源項目一樣，不得不從社區(qū)中尋求支持。

怎么學(xué)習(xí)nosql

首先，根據(jù)你的需要選定一種NoSQL數(shù)據(jù)庫。因為NoSQL數(shù)據(jù)庫類型比較多，而且不像SQL那樣有統(tǒng)一的國際標(biāo)準(zhǔn)。

找到選定的NoSQL數(shù)據(jù)庫的官方網(wǎng)站，下載軟件和文檔

搭建NoSQL數(shù)據(jù)庫環(huán)境

在搭建的環(huán)境上完成Demo（一般都有樣例）

按照指定的二次開發(fā)接口進(jìn)行應(yīng)用開發(fā)。