1 hadoop 大數(shù)據(jù)平臺架構(gòu)和實(shí)踐
掌握大數(shù)據(jù)存儲與處理技術(shù)的原理
掌握hadoop開發(fā)
2 課程預(yù)報(bào)知識
linux 常用命令
java編程基礎(chǔ)
3 hadoop前世今生
大數(shù)據(jù)到來 PB 級別的數(shù)據(jù)。
mapreduce、GFS
并行，節(jié)點(diǎn)同步，開發(fā)了技術(shù)論文，沒開放源代碼。
hadoop ***小象。
4 hadoop 的功能和優(yōu)勢
開源 分布式存取 + 分布式計(jì)算平臺。
HDFS:分布式文件系統(tǒng)，
任務(wù)調(diào)度。
高擴(kuò)展、低成本、成熟的生態(tài)圈。
hadoop 人才需求，開發(fā)人才、運(yùn)維
5 生態(tài)系統(tǒng)版本
HDFS MAPreduce hive
sql -> hive -> hadoop
hbase 非關(guān)系型數(shù)據(jù)庫
zookeeper 動物管理員
版本選擇，2.6版本 1.2 版本 穩(wěn)定版
6 hadoop的安裝
1 linux 環(huán)境
2 安裝jdk
3 配置hadoop 4 個配置文件
可以租用云主機(jī)。阿里云不錯的選擇哦。
7 hadoop的核心文件
HDFS 體系結(jié)構(gòu)
讀取元數(shù)據(jù) dateNode 是 工作節(jié)點(diǎn)
數(shù)據(jù)管理策略：三份存、64M數(shù)據(jù)庫，心跳檢測、定期匯報(bào)狀態(tài)、二級namenode、定期同步到，就是各種備份，自動同步唄。
讀寫流程：什么程序都有可能。流水線復(fù)制。更新源數(shù)據(jù)。
特點(diǎn)：數(shù)據(jù)冗余、硬件容錯。流式的數(shù)據(jù)訪問、無法修改，直接刪除后添加。存儲大文件。批量讀寫，吞吐量大，一次寫入，多次讀寫，交互性能差
命令行操作：類似shell 編程。
8 map reduce 分大任務(wù)到小任務(wù)、合并結(jié)果在一起。
100GB的網(wǎng)站訪問日志文件，找錯訪問次數(shù)最多的IP
交換很重要、
運(yùn)行流程：
基本概念：job task one job to more task
jobtracker map任務(wù) 和 reduce任務(wù)。
jobtracker 1 作業(yè)調(diào)度 2 分配任務(wù)、監(jiān)控任務(wù)執(zhí)行進(jìn)度
監(jiān)控tasktracker的狀態(tài)
執(zhí)行任務(wù)、匯報(bào)任務(wù)狀態(tài)。
輸入數(shù)據(jù)分片、map任務(wù)、中間結(jié)果、reduce任務(wù)、輸出結(jié)果。
HDFS表中。
jobtracker 任務(wù)、執(zhí)行過程。
容錯機(jī)制、重復(fù)執(zhí)行、先重試4次，默認(rèn)放棄，推測執(zhí)行。map端完成后，tasktracker執(zhí)行。
9 應(yīng)用案例：
wordcount 經(jīng)典記錄：
計(jì)算文件中出現(xiàn)每個單詞的頻數(shù)、
map過程 分
reduce過程 合
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
