本篇內(nèi)容主要講解“Hadoop的基礎(chǔ)知識點有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Hadoop的基礎(chǔ)知識點有哪些”吧!

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、雅安服務(wù)器托管、營銷軟件、網(wǎng)站建設(shè)、歷下網(wǎng)站維護(hù)、網(wǎng)站推廣。

一、hadoop的發(fā)展歷史      

網(wǎng)上資料很多，這里就不浪費時間介紹了，感興趣的自己找“度娘”。

注意一點： 狹義上來說，hadoop就是單獨指代hadoop這個軟件 ， 廣義上來說，hadoop指代大數(shù)據(jù)的一個生態(tài)圈，包括很多其他的軟件

在下面的章節(jié)中，沒有特殊說明，我們都是指的是hadoop這個軟件。

hadoop生態(tài)大致包括以下技術(shù)：

二、hadoop的版本介紹

• 0.x系列版本：hadoop當(dāng)中最早的一個開源版本，在此基礎(chǔ)上演變而來的1.x以及2.x的版本

• 1.x版本系列：hadoop版本當(dāng)中的第二代開源版本，主要修復(fù)0.x版本的一些bug等

• 2.x版本系列：架構(gòu)產(chǎn)生重大變化，引入了yarn平臺等許多新特性，也是現(xiàn)在生產(chǎn)環(huán)境當(dāng)中使用最多的版本

• 3.x版本系列：在2.x版本的基礎(chǔ)上，引入了一些hdfs的新特性等，且已經(jīng)發(fā)型了穩(wěn)定版本，未來公司的使用趨勢

注意：我們以后的課程都是以hadoop3.x版本為例，有些地方的配置及概念是有別于2.x的。

三、 hadoop生產(chǎn)環(huán)境版本選擇

Hadoop三大發(fā)行版本：Apache、Cloudera、Hortonworks。

• Apache版本最原始（最基礎(chǔ)）的版本，對于入門學(xué)習(xí)最好。

• Cloudera在大型互聯(lián)網(wǎng)企業(yè)中用的較多。

• Hortonworks文檔較好。

• 注：Cloudera和Hortonworks你可以理解為Linux和Centos的關(guān)系。

四、hadoop的架構(gòu)模塊介紹

Hadoop由三個模塊組成：分布式存儲HDFS、分布式計算MapReduce、資源調(diào)度引擎Yarn

• HDFS模塊：

• namenode：主節(jié)點，主要負(fù)責(zé)HDFS集群的管理以及元數(shù)據(jù)信息管理

• datanode：從節(jié)點，主要負(fù)責(zé)存儲用戶數(shù)據(jù)

• secondaryNameNode：輔助namenode管理元數(shù)據(jù)信息，以及元數(shù)據(jù)信息的冷備份

• Yarn模塊：

• ResourceManager：主節(jié)點，主要負(fù)責(zé)資源分配

• NodeManager：從節(jié)點，主要負(fù)責(zé)執(zhí)行任務(wù)

到此，相信大家對“Hadoop的基礎(chǔ)知識點有哪些”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！