對(duì)hadoop初學(xué)者來說，或者說正在使用hadoop的開發(fā)者來說，hadoop環(huán)境的搭建不是一件省心的事，甚至很多博客上都重要的事說三便“不要花精力在搭建環(huán)境之上”，可見很多人在搭建環(huán)境時(shí)會(huì)遇到很多問題，并且會(huì)花費(fèi)很多時(shí)間，本文將把所有的“玩法”都過一下，相信看完之后，你心里就有數(shù)了，將會(huì)依據(jù)自己的需求來選擇合適的搭建方式。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名與空間、虛擬空間、營(yíng)銷軟件、網(wǎng)站建設(shè)、新林網(wǎng)站維護(hù)、網(wǎng)站推廣。
部署方式 | 優(yōu)勢(shì) | 不足 | 適合場(chǎng)合 |
Apache Hadoop 單機(jī) | 單臺(tái)機(jī)器即可 簡(jiǎn)單 所需組件少 | 一般不用于生產(chǎn) 無HA 無法體現(xiàn)分布式 | 初學(xué) 開發(fā)測(cè)試 小規(guī)模試用 |
Apache Hadoop 集群 | 靈活的版本選擇 自主可控性較好 應(yīng)用場(chǎng)景廣泛 | 需專業(yè)人員管理 組件間兼容性差 配置、運(yùn)維復(fù)雜 | 學(xué)習(xí) 開發(fā)測(cè)試 生產(chǎn)環(huán)境 |
CDH或 HDP | Web管理和監(jiān)控 開源廠商支持 兼容性和穩(wěn)定高 | 仍需大量配置 受制于廠商 更新版本稍慢 | 開發(fā)測(cè)試 生產(chǎn)環(huán)境 |
其它廠商類CDH | 有自己擴(kuò)展特性 廠商支持 | 非免費(fèi) 嚴(yán)重受制于廠商 | 生產(chǎn)環(huán)境 |
編寫shell部署運(yùn)維腳本 | 自控性好 配置簡(jiǎn)單 靈活性好 | 需編寫腳本 測(cè)試費(fèi)時(shí) 需不斷完善 | 學(xué)習(xí) 開發(fā)測(cè)試 生產(chǎn)環(huán)境 |
通過上面的對(duì)比，總結(jié)如下：
初學(xué)hadoop，希望快速開始，采用第一種apache單機(jī)，無基礎(chǔ)的情況下1個(gè)小即可完成，有l(wèi)inux基礎(chǔ)除掉安裝虛擬機(jī)、linux的時(shí)間，10分鐘可完成；
用于生產(chǎn)環(huán)境或測(cè)試環(huán)境，采用第三種cdh方式，管理集群都是圖形化，但是缺少了對(duì)內(nèi)部深層次的了解；
對(duì)于深入學(xué)習(xí)者，已經(jīng)有一定經(jīng)驗(yàn)和積累了，可以選最后一種，不斷可以深入的了解內(nèi)部各進(jìn)程依賴關(guān)系，還可以提升shell腳本文件編程水平。
關(guān)于每一種環(huán)境的詳細(xì)搭建方式，將會(huì)分幾個(gè)章節(jié)在后面分別介紹，另外如果可能也會(huì)錄制一些免費(fèi)視頻，詳細(xì)的講解一下操作步驟。
重慶分公司
重慶分公司
