這篇文章主要介紹“hadoop2.7.1環(huán)境的搭建方法”，在日常操作中，相信很多人在hadoop2.7.1環(huán)境的搭建方法問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”hadoop2.7.1環(huán)境的搭建方法”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

成都創(chuàng)新互聯(lián)服務(wù)緊隨時(shí)代發(fā)展步伐，進(jìn)行技術(shù)革新和技術(shù)進(jìn)步，經(jīng)過十年的發(fā)展和積累，已經(jīng)匯集了一批資深網(wǎng)站策劃師、設(shè)計(jì)師、專業(yè)的網(wǎng)站實(shí)施團(tuán)隊(duì)以及高素質(zhì)售后服務(wù)人員，并且完全形成了一套成熟的業(yè)務(wù)流程，能夠完全依照客戶要求對(duì)網(wǎng)站進(jìn)行成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、建設(shè)、維護(hù)、更新和改版，實(shí)現(xiàn)客戶網(wǎng)站對(duì)外宣傳展示的首要目的，并為客戶企業(yè)品牌互聯(lián)網(wǎng)化提供全面的解決方案。

在老板的支持下，陸續(xù)劃拉到了10幾臺(tái)機(jī)器，綁定了固定IP，工作之余開始了Hadoop之旅。將要點(diǎn)記錄下來(lái)，以備查閱。

硬件構(gòu)成：

軟件構(gòu)成：

整體架構(gòu)：

DFS和Yarn構(gòu)成：

各個(gè)節(jié)點(diǎn)需要的配置：

調(diào)試hadoop節(jié)點(diǎn)用到的命令：

sbin/hadoop-daemon.sh start journal
bin/hdfs namenode format
sbin/hadoop-daemon.sh start namenode
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
bin/hdfs haadmin -transitionToActive nn1
sbin/hadoop-daemons.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

調(diào)試完畢后的集群?jiǎn)?dòng)/關(guān)閉命令：

sbin/start-dfs.sh
sbin/start-yarn.sh
bin/hdfs haadmin -transitionToActive nn1

sbin/stop-dfs.sh
sbin/stop-yarn.sh

DFS管理界面：

YARN管理界面：

正在把150G日志手動(dòng)導(dǎo)入DFS，暫時(shí)還沒用上Flume，后面逐步集成進(jìn)來(lái)。

MR運(yùn)行結(jié)果存入DFS或者灌入MySQL都試驗(yàn)成功，回頭整理。

Yarn的資源隊(duì)列臨時(shí)配置了一個(gè)，現(xiàn)在只是能跑，還不明白咋回事，抽時(shí)間繼續(xù)研究。

在4個(gè)data node節(jié)點(diǎn)上（昨晚才湊到9節(jié)點(diǎn)）對(duì)15G日志跑一個(gè)過濾useragent的MR，需要8分鐘，這樣算下來(lái)需要1天時(shí)間才能對(duì)1個(gè)月的日志解析完，孰能忍！性能優(yōu)化需要陸續(xù)展開。

到此，關(guān)于“hadoop2.7.1環(huán)境的搭建方法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！