Centos6安裝cdh5.7

Centos6 安裝cdh6.7

創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)服務(wù)商，為中小企業(yè)提供成都做網(wǎng)站、成都網(wǎng)站建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)服務(wù)，網(wǎng)站設(shè)計(jì)，網(wǎng)站托管等一站式綜合服務(wù)型公司，專業(yè)打造企業(yè)形象網(wǎng)站，讓您在眾多競爭對手中脫穎而出創(chuàng)新互聯(lián)公司。

安裝前的準(zhǔn)備工作
JDK環(huán)境

版本：jdk-7u79-linux-x64.tar.gz

下載地址：oracle官網(wǎng)（http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html）

安裝上會(huì)生成 /usr/local/jdk1.7.0_79

需要建立軟連接 ln –s /usr/local/jdk1.7.0_79 /usr/local/java

在來一個(gè) ln –s /usr/local/java /usr/share/java

還來一個(gè) ln -s /usr/local/java /usr/java/jdk1.7

加環(huán)境變量

export JAVA_HOME=/usr/local/java

export PATH=${JAVA_HOME}/bin:${PATH}

MySQL連接

http://dev.mysql.com/downloads/connector/j/

mysql-connector-java-5.1.47-bin.jar 我下載的這個(gè)

把下載的包放到/usr/local/

并重新命名 mysql-connector-java.jar

Centos6 安裝cdh5.7

先下載 cloudera manager安裝包下載地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6- cm5.7.0_x86_64.tar.gz

Centos6 安裝cdh5.7

下載 CDH 安裝包（parcel 包）下載地址：http://archive.cloudera.com/cdh6/parcels/5.7.0/

Centos6 安裝cdh5.7

CDH-5.7.0-1.cdh6.7.0.p0.45-el6.parcel
CDH-5.7.0-1.cdh6.7.0.p0.45-el6.parcel.sha1

manifest.json

需要上面這3個(gè)

系統(tǒng)需要做的準(zhǔn)備

Ntp 時(shí)間所有機(jī)器的時(shí)間要一樣（百度吧不會(huì)的簡單）

Ssh 互相（root用戶）

防火墻 selinux都不開（沒在考慮范圍）

Hosts 里面要有所有服務(wù)器的解析 Ip hostname

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

自己設(shè)置開機(jī)啟動(dòng)吧

安裝cdh

-----------------------------------------------------------manager機(jī)器---------------------------------------------------先操作 cloudera-manager 機(jī)器

mkdir -p /var/cloudera-scm-server

mkdir -p /opt/cloudera/parcel-repo

tar xf /opt/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz -C /opt/cloudera-manager

Centos6 安裝cdh5.7

把另外一個(gè)包放到這/opt/cloudera/parcel-repo（注意把sha1 換成這樣sha）

Centos6 安裝cdh5.7

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

chown cloudera-scm:cloudera-scm /var/cloudera-scm-server

chown cloudera-scm:cloudera-scm /opt/cloudera-manager

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

-------------------------------------------------- manager機(jī)器-----------------------------------------------------------

-------------------------------------------------- 所有機(jī)器----------------------------------------------------------------

所有機(jī)器加用戶 cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini

# Hostname of the CM server.

server_host=node2 這個(gè)要指向manager的機(jī)器的地址 ip 也行

Centos6 安裝cdh5.7

-------------------------------------------------- 所有機(jī)器----------------------------------------------------------------

-------------------------------------------------- manager機(jī)器-----------------------------------------------------------

在manager的機(jī)器指向cm server的數(shù)據(jù)庫初始化

方法一：

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql –h2.1.1.1 -uroot –pxxxx --scm-host 2.2.2.2 scm scm scm

上面這個(gè)命令需要root權(quán)限沒有scm庫才執(zhí)行

Centos6 安裝cdh5.7

方法二：（建議這樣，數(shù)據(jù)庫我們有dba管理人家不能給你root給你一個(gè)庫的權(quán)限）

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建庫

grant all privileges on scm.* to scm@'node2' identified by 'scm'; 授權(quán)

Centos6 安裝cdh5.7

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode1 --scm-host node2 scm scm scm #node1是數(shù)據(jù)庫的地址 Node2是manager地址 scm庫 scm 用戶 scm密碼

Centos6 安裝cdh5.7

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-server/db.properties 看看生成什么

Centos6 安裝cdh5.7

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server start 啟動(dòng)服務(wù)

如果啟動(dòng)失敗需要修改 /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

Centos6 安裝cdh5.7

添加系統(tǒng)服務(wù)：

cp /opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

chkconfig --add cloudera-scm-server

chkconfig cloudera-scm-server on

Centos6 安裝cdh5.7

-------------------------------------------------- manager機(jī)器-----------------------------------------------------------

-------------------------------------------------- 所有機(jī)器-----------------------------------------------------------

同理把/opt/cloudera-manager/cm-5.7.0/etc/init.d/下的cloudera-scm-agent 也設(shè)置成系統(tǒng)服務(wù)并啟動(dòng)

cp cloudera-scm-agent /etc/init.d/

chkconfig --add cloudera-scm-agent

vim /etc/init.d/cloudera-scm-agent 不這樣會(huì)報(bào)啟動(dòng)命令里面的命令找不到路徑

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

Centos6 安裝cdh5.7

/etc/init.d/cloudera-scm-agent start 啟動(dòng)

Centos6 安裝cdh5.7

把 /etc/init.d/cloudera-scm-agent 復(fù)制到全部機(jī)器

Centos6 安裝cdh5.7

vi /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini 注意這個(gè)文件到要指定到manager那臺(tái)機(jī)器

Centos6 安裝cdh5.7

每臺(tái)都加系統(tǒng)服務(wù)和啟動(dòng)

Centos6 安裝cdh5.7

Web頁面登錄cdh安裝其他軟件

7180端口訪問 manager的機(jī)器 admin admin 默認(rèn)

Centos6 安裝cdh5.7

這里就注意了選擇新機(jī)器如果沒有安裝剛才的agent這里也能安裝比咱們上面的簡單

下面是版本的選擇

Centos6 安裝cdh5.7

到這就安裝了一個(gè)沒有安裝agent的機(jī)器

選擇當(dāng)前的管理主機(jī)

Centos6 安裝cdh5.7

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 記得授權(quán)數(shù)據(jù)庫

grant all privileges on *.* to hive@'%' identified by 'xxx';

點(diǎn)擊測試通過就行

Centos6 安裝cdh5.7

/etc/sudoers里面的Defaults requiretty需要注釋掉。

Centos6 安裝cdh5.7

在安裝服務(wù)界面，執(zhí)行失敗時(shí)，點(diǎn)擊查看詳細(xì)信息，會(huì)給出這樣類似的錯(cuò)誤信息。查看/opt/cloudera-manager/cm-5.4.1/run/cloudera-scm-agent/process目錄下相關(guān)日志。發(fā)現(xiàn)上面這個(gè)錯(cuò)誤信息是由于JAVA_HOME問題，啟動(dòng)腳本中，JAVA_HOME并不是根據(jù)環(huán)境變量來獲取，而是在它列舉的幾個(gè)目錄下尋找，所以只要把你的java路徑ln -s過去就行，比如我的 ln -s /usr/local/java /usr/java/jdk1.7

如果還是不行后退一步在下一步

Centos6 安裝cdh5.7