CDH集群搭建步驟詳細(xì)文檔
CDH (Cloudera's Distribution,including Apache Hadoop)，是Hadoop眾多分支中的一種，由Cloudera維護(hù)，基于穩(wěn)定版本的Apache Hadoop構(gòu)建，并集成了很多補(bǔ)丁，可直接用于生產(chǎn)環(huán)境。
Cloudera Manager則是為了便于在集群中進(jìn)行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件，對(duì)集群中主機(jī)、Hadoop、Hive、Spark等服務(wù)的安裝配置管理做了極大簡(jiǎn)化。
CDH集群服務(wù)器規(guī)劃：192.168.2.41（CDH1），192.168.2.51（CDH2），192.168.2.61（CDH3）
操作系統(tǒng)：CentOS6.5 x64
Cloudera Manager：5.8.0
CDH: 5.8.0
采用parcel離線安裝方式，安裝方便，重裝什么的都非常方便。后期的集群統(tǒng)一包升級(jí)也非常好。
Cloudera Manager下載地址：
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.8.0_x86_64.tar.gz
CDH安裝包地址：
http://archive.cloudera.com/cdh6/parcels/5.8.0/
由于我們的操作系統(tǒng)為CentOS6.5，需要下載以下文件：
CDH-5.8.0-1.cdh6.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh6.8.0.p0.42-el6.parcel.sha1
manifest.json
以下操作均用root用戶操作。
vi /etc/sysconfig/network 修改hostname：
通過 service network restart 重啟網(wǎng)絡(luò)服務(wù)生效。
vi /etc/hosts ,修改ip與主機(jī)名的對(duì)應(yīng)關(guān)系
注意：這里需要將每臺(tái)機(jī)器的ip及主機(jī)名對(duì)應(yīng)關(guān)系都寫進(jìn)去，本機(jī)的也要寫進(jìn)去，否則啟動(dòng)Agent的時(shí)候會(huì)提示hostname解析錯(cuò)誤。
在主節(jié)點(diǎn)上執(zhí)行 ssh-keygen -t rsa 一路回車，生成無密碼的密鑰對(duì)。
然后執(zhí)行以下命令復(fù)制公鑰文件到所有datenode節(jié)點(diǎn)：
[root@cdh2 ~]# ssh-copy-id cdh2 [root@cdh2 ~]# ssh-copy-id cdh3 [root@cdh2 ~]# ssh-copy-id cdh4測(cè)試：在主節(jié)點(diǎn)上ssh cdh3，正常情況下，不需要密碼就能直接登陸進(jìn)去了。
CentOS，自帶OpenJdk，不過運(yùn)行CDH5需要使用Oracle的Jdk，需要Java 7的支持。
卸載自帶的OpenJdk，使用 rpm -qa | grep java 查詢java相關(guān)的包，使用 rpm -e --nodeps 包名卸載之。
去Oracle的官網(wǎng)下載jdk。
http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz
解壓安裝包
[root@cdh2~]# tar –zxf jdk-7u79-linux-x64.tar.gz–C /usr/local [root@cdh2~]# cd/usr/local [root@cdh2~]# ln –sv jdk1.7.0_79/jdk [root@cdh2~]# vi /etc/profile.d/jdk.sh exportJAVA_HOME=/usr/local/jdk exportPATH=$PATH:$JAVA_HOME/bin [root@cdh2~]# chmod 755 /etc/profile.d/jdk.sh [root@cdh2~]# . /etc/profile.d/jdk.sh查看是否安裝成功
[root@cdh2~]# java -version javaversion "1.7.0_79" Java(TM)SE Runtime Environment (build 1.7.0_79-b15) JavaHotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode) [root@cdh2~]#通過 yum installmysql-server 安裝mysql服務(wù)器。 chkconfig mysqld on 設(shè)置開機(jī)啟動(dòng)，并 service mysqld start 啟動(dòng)mysql服務(wù)。
mysql -uroot-pxxxx 進(jìn)入mysql命令行，創(chuàng)建以下數(shù)據(jù)庫：
createdatabase hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; createdatabase hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; createdatabase Reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci; createdatabase Oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;設(shè)置root授權(quán)訪問以上所有的數(shù)據(jù)庫：
#授權(quán)root用戶在主節(jié)點(diǎn)擁有所有數(shù)據(jù)庫的訪問權(quán)限
grant all privileges on *.* to root@cdh2 identified by '123456'; flushprivileges;注意： 需要在所有的節(jié)點(diǎn)上執(zhí)行，因?yàn)樯婕暗降亩丝谔嗔耍R時(shí)關(guān)閉防火墻是為了安裝起來更方便，安裝完畢后可以根據(jù)需要設(shè)置防火墻策略，保證集群安全。
關(guān)閉防火墻：
service iptables stop （臨時(shí)關(guān)閉） chkconfig iptables off （重啟后生效）關(guān)閉SELinux
setenforce 0（臨時(shí)生效） 修改 /etc/selinux/config 下的 SELINUX=disabled （重啟后永久生效）各集群節(jié)點(diǎn)服務(wù)器必須同步時(shí)間，如果時(shí)間相差太大，在安裝CDH是可能會(huì)出現(xiàn)各種異常報(bào)錯(cuò)。
安裝ntp
yum install ntp ntpdatentp同步時(shí)間命令，這里用1.cn.pool.ntp.org做時(shí)間同步服務(wù)器
ntpdate 1.cn.pool.ntp.org主節(jié)點(diǎn)解壓安裝
cloudera manager的目錄默認(rèn)位置在/opt，將其解壓到opt目錄下
[root@cdh2opt]# tar -zxvf cloudera-manager-el6-cm5.8.0_x86_64.tar.gz –C /opt 
將解壓出來的兩個(gè)目錄的所有者改成root
chown -R root.root /opt/cloudera/ chown -R root.root /opt/cm-5.8.0/為Cloudera Manager 5建立數(shù)據(jù)庫，首先需要去MySql的官網(wǎng)下載JDBC驅(qū)動(dòng)。
地址：http://dev.mysql.com/downloads/connector/j/
解壓后，找到mysql-connector-java-5.1.41-bin.jar，放到/opt/cm-5.8.0/share/cmf/lib/中。
cp mysql-connector-java-5.1.41-bin.jar /opt/cm-5.8.0/share/cmf/lib/在主節(jié)點(diǎn)初始化CM5的數(shù)據(jù)庫：
/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.shmysql cm -h localhost -uroot -p123456 --scm-host localhost scm scm scm
Agent配置：
修改/opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini中的server_host為主節(jié)點(diǎn)的主機(jī)名。
server_host=cdh2創(chuàng)建cloudera-scm-agent的pid目錄
mkdir /opt/cm-5.8.0/run/cloudera-scm-agent同步Agent到其他節(jié)點(diǎn)
scp -r/opt/cm-5.8.0/ cdh3:/opt/ scp -r/opt/cm-5.8.0/ cdh4:/opt/在所有節(jié)點(diǎn)創(chuàng)建cloudera-scm用戶
useradd --system --home=/opt/cm-5.8.0/run/cloudera-scm-server/ --no-create-home--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm將CHD5相關(guān)的Parcel包放到主節(jié)點(diǎn)的/opt/cloudera/parcel-repo/目錄中。
相關(guān)的文件如下：
CDH-5.8.0-1.cdh6.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh6.8.0.p0.42-el6.parcel.sha1
manifest.json
最后將CDH-5.8.0-1.cdh6.8.0.p0.42-el6.parcel.sha1文件后綴改成sha。否則，系統(tǒng)會(huì)重新下載CDH-5.8.0-1.cdh6.8.0.p0.42-el6.parcel文件。
服務(wù)端：
/opt/cm-5.8.0/etc/init.d/cloudera-scm-serverstart客戶端：（所有節(jié)點(diǎn)啟動(dòng)）啟動(dòng)Agent服務(wù)。
/opt/cm-5.8.0/etc/init.d/cloudera-scm-agentstart我們啟動(dòng)的其實(shí)是個(gè)service腳本，需要停止服務(wù)將以上的start參數(shù)改為stop就可以了，重啟是restart。
Cloudera Manager Server和Agent都啟動(dòng)以后，就可以進(jìn)行CDH5的安裝配置了。
這時(shí)可以通過瀏覽器訪問主節(jié)點(diǎn)的7180端口測(cè)試一下了（由于CM Server的啟動(dòng)需要花點(diǎn)時(shí)間，這里可能要等待一會(huì)才能訪問），默認(rèn)的用戶名和密碼均為admin
勾選接受條款，點(diǎn)擊繼續(xù)
可以看到，免費(fèi)版本的CM5已經(jīng)沒有原來50個(gè)節(jié)點(diǎn)數(shù)量的限制了。
點(diǎn)擊繼續(xù)
各個(gè)Agent節(jié)點(diǎn)正常啟動(dòng)后，可以在當(dāng)前管理的主機(jī)列表中看到對(duì)應(yīng)的節(jié)點(diǎn)。選擇要安裝的節(jié)點(diǎn)，點(diǎn)繼續(xù)。
出現(xiàn)以下包名和對(duì)應(yīng)CDH版本，說明本地Parcel包配置無誤，這里選擇5.8.0，直接點(diǎn)繼續(xù)。
如果配置本地Parcel包無誤，那么下圖中的已下載，應(yīng)該是瞬間就完成了，然后就是耐心等待分配過程就行了，大約10多分鐘，取決于內(nèi)網(wǎng)網(wǎng)速。
接下來是服務(wù)器檢查，可能會(huì)遇到以下問題：
Cloudera 建議將 /proc/sys/vm/swappiness 設(shè)置為 0。當(dāng)前設(shè)置為 60。使用 sysctl 命令在運(yùn)行時(shí)更改該設(shè)置并編輯 /etc/sysctl.conf 以在重啟后保存該設(shè)置。您可以繼續(xù)進(jìn)行安裝，但可能會(huì)遇到問題，Cloudera Manager 報(bào)告您的主機(jī)由于交換運(yùn)行狀況不佳。以下主機(jī)受到影響：
通過 echo 0> /proc/sys/vm/swappiness 即可解決。點(diǎn)擊完成。
接下來，選擇安裝服務(wù)。
進(jìn)行集群設(shè)置角色分配，沒特殊要求的話，選默認(rèn)即可，點(diǎn)繼續(xù)。
數(shù)據(jù)庫設(shè)置
點(diǎn)擊連接測(cè)試，當(dāng)全部都顯示Successful，點(diǎn)擊繼續(xù)
選擇默認(rèn)，點(diǎn)擊繼續(xù)。
開始安裝配置服務(wù)，等待完成。
安裝完成，登陸控制臺(tái)
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
