第一天
2.Hadoop框架介紹與搜索技術(shù)體系介紹
| 1. | 大數(shù)據(jù)典型特性與分布式開發(fā)難點 |
| 2. | Hadoop框架介紹與搜索技術(shù)體系介紹 |
| 3. | Hadoop版本與特性介紹 |
| 4. | Hadoop核心模塊之HDFS分布式文件系統(tǒng)架構(gòu)介紹 |
| 5. | Hadoop核心模塊之Yarn操作系統(tǒng)架構(gòu)介紹 |
| 6. | Linux安全禁用設(shè)置與JDK安裝講解 |
| 7. | Hadoop偽分布式環(huán)境部署HDFS部分 |
| 8. | Hadoop偽分布式環(huán)境部署Yarn和MR部分 |
| 9. | Hadoop環(huán)境使用常見的錯誤集合 |
| 10. | Hadoop環(huán)境常規(guī)設(shè)置與輔助功能講解（-） |
| 11. | Hadoop環(huán)境常規(guī)設(shè)置與輔助功能講解（二） |
| 12. | Windows環(huán)境下部署Eclipse插件注意事項 |
2.Hadoop框架介紹與搜索技術(shù)體系介紹
1.hadoop介紹
-》官網(wǎng)：http://hadoop.apache.org
-》hadoop商業(yè)三大發(fā)行版
-》Apache -》apache
-》cloudera -》CDH
-》hostonwork -》HDP
-》分布式
-》爬蟲
-》存儲（加硬盤，但是單臺機(jī)器是有限的）&處理分析
-》快速查詢
-》分開計算，結(jié)果合并
-》google-》Mapreduce論文
-》map
-》reduce
-》HDFS 文件系統(tǒng)和數(shù)據(jù)庫是不一樣的
-》HBase
-》搜索引擎的技術(shù)體系
-》數(shù)據(jù)獲取
-》（外網(wǎng)，互聯(lián)網(wǎng)抓取數(shù)據(jù)）
-》數(shù)據(jù)庫
-》數(shù)據(jù)存儲-》HDFS&Hbase
-》yarn操作系統(tǒng)
-》數(shù)據(jù)計算
-》sql實時查詢（消息隊列，監(jiān)控系統(tǒng)）
-》輔助型框架，比如zookeeper
-》生成索引，搜索的索引（商品推薦和自己平時搜索的信息有關(guān)）
-》返回個前端用戶
-》離線系統(tǒng)-》hadoop生態(tài)圈
-》數(shù)據(jù)獲取
-》（外網(wǎng)，互聯(lián)網(wǎng)抓取數(shù)據(jù)）
-》云存儲
-》全量或者增量導(dǎo)入(同步到hbase當(dāng)中，sql語句當(dāng)中)
-》復(fù)雜離線處理的過程(job運(yùn)行，業(yè)務(wù)的邏輯，表的join,字段的合并)
-》mapreduce（實現(xiàn)全量或者增量數(shù)據(jù)的更新）
-》其他的框架實現(xiàn)實時數(shù)據(jù)的更新
這樣我整個的數(shù)據(jù)變化就可以實現(xiàn)秒級的速度 更新到搜索引擎
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
