這篇文章主要介紹“hadoop2.6的配置及優(yōu)化方法”，在日常操作中，相信很多人在hadoop2.6的配置及優(yōu)化方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hadoop2.6的配置及優(yōu)化方法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

創(chuàng)新互聯(lián)是一家專注于網(wǎng)站制作、做網(wǎng)站與策劃設(shè)計,拜泉網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:拜泉等地區(qū)。拜泉做網(wǎng)站價格咨詢:028-86922220

1.vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-env.sh 

 export JAVA_HOME=/opt/jdk1.7.0_75

2.vi /opt/hadoop-2.6.0/etc/hadoop/core-site.xml 

 
 fs.default.name
 hdfs://spore:9000
 

注：spore為機器的hostname

 
 
 hadoop.native.lib
 true
 

dfs.permissions
false

hadoop.tmp.dir
/opt/hadoop-2.6.0/tmp

3.vi /opt/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

 
 
 dfs.replication
 1
 

4.vi /opt/hadoop-2.6.0/etc/hadoop/mapred-site.xml

mapreduce.framework.name
yarn

5.vi /opt/hadoop-2.6.0/etc/hadoop/slaves

添加slave的hostname

優(yōu)化：

盡量使用combiner減少鍵值對數(shù)目，本地合并鍵值對，減少網(wǎng)絡(luò)傳輸，優(yōu)化效果明顯

調(diào)大mapreduce中間結(jié)果緩存的內(nèi)存

巧用復合鍵讓系統(tǒng)完成排序，不必要自己實現(xiàn)排序

到此，關(guān)于“hadoop2.6的配置及優(yōu)化方法”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
文章標題：hadoop2.6的配置及優(yōu)化方法
URL鏈接：http://weahome.cn/article/gejsip.html