網(wǎng)上很多教程關(guān)于Hadoop-2.4包64位編碼的教程,最新版2.7.2幾乎相同,在此為大家復(fù)述一下。
目前創(chuàng)新互聯(lián)建站已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)站空間、綿陽服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計、內(nèi)江網(wǎng)站維護(hù)等服務(wù),公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。
分享兩個比較權(quán)威的附上鏈接:
Ubuntu用戶推薦參考: http://www.aboutyun.com/forum.php?mod=viewthread&tid=8130&extra=page%3D1&page=1
CentOs系列用戶參考:http://www.cnblogs.com/hadoop2015/p/4259899.html
1、前期工具準(zhǔn)備:
(1) CentOS 并成功聯(lián)網(wǎng) (注意:最好采用的是root角色編譯,減少文件夾權(quán)限出現(xiàn)問題。新手要注意命令問題:如Ubuntu使用apt-get ,CenOS使用yum的區(qū)別。)
(2) 源碼、JDK7 、 maven、 ant 、protobuf(具體每個插件的作用自行查閱資料)
一、安裝插件步驟:(都在root身份下操作,環(huán)境變量配置在 /etc/profile)
1、JDK解壓、配置環(huán)境變量 JAVA_HOME和PATH,驗證 java -version(如下都需要驗證是否配置成功)
2、Maven解壓、配置 MAVEN_HOME和PATH。
3、ant解壓、配置 ANT _HOME和PATH。
4、安裝 glibc-headers 和 g++ 命令如下:
$yum install glibc-headers
$ yum install gcc-c++
5、安裝make和cmake
$yum install make
$yum install cmake
6、解壓protobuf ,進(jìn)入到解壓后protobuf主目錄,
然后相繼執(zhí)行命令:
$ ./configure
$ make
$ make check
$ make install
$ ldconfig
修改環(huán)境變量LD_LIBRARY_PATH。驗證(命令:$protoc --version)
最后每次配置都要刷新配置/etc/profile文件:
$source /etc/profile
配置完附上 profile 關(guān)于配置的文件:
7、安裝openssl庫
$ yum install openssl-devel
8、安裝 ncurses-devel庫:
$yum install ncurses-devel
到此,編譯工具安裝基本完成。
二、 編譯階段:
開始maven指令,開始編譯hadoop 64位。
跳轉(zhuǎn)到解壓好的hadoop源碼文件夾里面主目錄(src目錄),執(zhí)行:
$ mvn package -Pdist,native -DskipTests -Dtar
等待時間很長,最終成功是全部SUCCESS:
成功的64位hadoop包在 scr/hadoop-dist/target下。
3、遇到問題:
1、MAVEN install時候JVM內(nèi)存溢出
處理方式:在環(huán)境配置文件和maven的執(zhí)行文件均可調(diào)整MAVEN_OPT的heap大小。(詳情查閱MAVEN 編譯 JVM調(diào)優(yōu)問題,如:http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method)
2、編譯期間maven報錯??赡芫W(wǎng)絡(luò)阻塞問題導(dǎo)致依賴庫下載不完整導(dǎo)致,多次執(zhí)行命令(一次通過比較難):
$ mvn package -Pdist,native -DskipTests -Dtar
3、報ant、protobuf等錯誤,插件下載未完整或者插件版本問題,最開始鏈接有較多特殊情況,同時推薦
2.7.0版本的問題匯總帖子 http://www.tuicool.com/articles/IBn63qf
本人比較少寫整理博客,感謝about云社區(qū),希望對大家有幫助。