近期開(kāi)始大數(shù)據(jù)的學(xué)習(xí)，在學(xué)習(xí)之前給給自己定義了一個(gè)大數(shù)據(jù)學(xué)習(xí)路線

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、微信小程序開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了西平免費(fèi)建站歡迎大家使用！

大數(shù)據(jù)技術(shù)學(xué)習(xí)路線指南

一、Hadoop入門，了解什么是Hadoop

1、Hadoop產(chǎn)生背景
2、Hadoop在大數(shù)據(jù)、云計(jì)算中的位置和關(guān)系
3、國(guó)內(nèi)外Hadoop應(yīng)用案例介紹
4、國(guó)內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹
5、分布式系統(tǒng)概述
6、Hadoop生態(tài)圈以及各組成部分的簡(jiǎn)介
7、Hadoop核心MapReduce例子說(shuō)明
二、分布式文件系統(tǒng)HDFS，是數(shù)據(jù)庫(kù)管理員的基礎(chǔ)課程
1、分布式文件系統(tǒng)HDFS簡(jiǎn)介
2、HDFS的系統(tǒng)組成介紹
3、HDFS的組成部分詳解
4、副本存放策略及路由規(guī)則
5、NameNode Federation
6、命令行接口
7、Java接口
8、客戶端與HDFS的數(shù)據(jù)流講解
9、HDFS的可用性（HA）
三、初級(jí)MapReduce，成為Hadoop開(kāi)發(fā)人員的基礎(chǔ)課程
1、如何理解map、reduce計(jì)算模型
2、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過(guò)程
3、Yarn模型
4、序列化
5、MapReduce的類型與格式
6、MapReduce開(kāi)發(fā)環(huán)境搭建
7、MapReduce應(yīng)用開(kāi)發(fā)
8、更多示例講解，熟悉MapReduce算法原理
四、高級(jí)MapReduce，高級(jí)Hadoop開(kāi)發(fā)人員的關(guān)鍵課程
1、使用壓縮分隔減少輸入規(guī)模
2、利用Combiner減少中間數(shù)據(jù)
3、編寫Partitioner優(yōu)化負(fù)載均衡
4、如何自定義排序規(guī)則
5、如何自定義分組規(guī)則
6、MapReduce優(yōu)化
7、編程實(shí)戰(zhàn)
五、Hadoop集群與管理，是數(shù)據(jù)庫(kù)管理員的高級(jí)課程
1、Hadoop集群的搭建
2、Hadoop集群的監(jiān)控
3、Hadoop集群的管理
4、集群下運(yùn)行MapReduce程序
六、ZooKeeper基礎(chǔ)知識(shí)，構(gòu)建分布式系統(tǒng)的基礎(chǔ)框架
1、ZooKeeper體現(xiàn)結(jié)構(gòu)
2、ZooKeeper集群的安裝
3、操作ZooKeeper
七、HBase基礎(chǔ)知識(shí)，面向列的實(shí)時(shí)分布式數(shù)據(jù)庫(kù)
1、HBase定義
2、HBase與RDBMS的對(duì)比
3、數(shù)據(jù)模型
4、系統(tǒng)架構(gòu)
5、HBase上的MapReduce
6、表的設(shè)計(jì)
八、HBase集群及其管理
1、集群的搭建過(guò)程講解
2、集群的監(jiān)控
3、集群的管理
九、HBase客戶端
1、HBase Shell以及演示
2、Java客戶端以及代碼演示
十、Pig基礎(chǔ)知識(shí)，進(jìn)行Hadoop計(jì)算的另一種框架
1、Pig概述
2、安裝Pig
3、使用Pig完成手機(jī)流量統(tǒng)計(jì)業(yè)務(wù)
十一、Hive，使用SQL進(jìn)行計(jì)算的Hadoop框架
1、數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí)
2、Hive定義
3、Hive體系結(jié)構(gòu)簡(jiǎn)介
4、Hive集群
5、客戶端簡(jiǎn)介
6、HiveQL定義
7、HiveQL與SQL的比較
8、數(shù)據(jù)類型
9、表與表分區(qū)概念
10、表的操作與CLI客戶端演示
11、數(shù)據(jù)導(dǎo)入與CLI客戶端演示
12、查詢數(shù)據(jù)與CLI客戶端演示
13、數(shù)據(jù)的連接與CLI客戶端演示
14、用戶自定義函數(shù)（UDF）的開(kāi)發(fā)與演示
十二、Sqoop，Hadoop與rdbms進(jìn)行數(shù)據(jù)轉(zhuǎn)換的框架
1、配置Sqoop
2、使用Sqoop把數(shù)據(jù)從MySQL導(dǎo)入到HDFS中
3、使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到MySQL中
十三、Storm
1、Storm基礎(chǔ)知識(shí)：包括Storm的基本概念和Storm應(yīng)用
場(chǎng)景，體系結(jié)構(gòu)與基本原理，Storm和Hadoop的對(duì)比
2、Storm集群搭建：詳細(xì)講述Storm集群的安裝和安裝時(shí)常見(jiàn)問(wèn)題
3、Storm組件介紹: spout、bolt、stream groupings等
4、Storm消息可靠性：消息失敗的重發(fā)
5、Hadoop 2.0和Storm的整合：Storm on YARN
6、Storm編程實(shí)戰(zhàn)