Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱“CDH”），基于Web的用戶界面,支持大多數(shù)Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,簡化了大數(shù)據(jù)平臺的安裝、使用難度。
子長網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項目制作，到程序開發(fā)，運(yùn)營維護(hù)。創(chuàng)新互聯(lián)成立與2013年到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運(yùn)維經(jīng)驗，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。
| 序號 | IP地址 | 主機(jī)名 | 系統(tǒng)版本 |
|---|---|---|---|
| 1 | 172.20.2.222 | cm-server | centos7.3 |
| 2 | 172.20.2.203 | hadoop-1 | centos7.3 |
| 3 | 172.20.2.204 | hadoop-2 | centos7.3 |
| 4 | 172.20.2.205 | hadoop-3 | centos7.3 |
a.修改主機(jī)名配置hosts
重慶分公司
重慶分公司
systemctl stop firewalld
hostnamectl set-hostname cm-server #更改個主機(jī)名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<b.配置cm-server免密鑰登錄其他節(jié)點(diǎn)
ssh-keygen -t rsa #在cm-server生成密鑰對
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;donec.在cm-server安裝數(shù)據(jù)庫
在cm-server上安裝mariadb，用于后期數(shù)據(jù)存儲
yum install mariadb*
systemctl start mariadb
MySQL -uroot password "mysqladmin"
登錄數(shù)據(jù)庫后我們采用root登錄e.java環(huán)境配置
如果系統(tǒng)有安裝java環(huán)境卸載干凈使用oracle的jdk，此處使用jdk-7u80-linux-x64.rpm,在各節(jié)點(diǎn)均配置java環(huán)境
rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<f.配置各節(jié)點(diǎn)服務(wù)器需求
sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enableda.下載解壓相關(guān)軟件包
mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/ #解壓cm包
unzip mysql-connector-java-5.1.46.zip #解壓java-mysql連接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/ #將jar包復(fù)制到cm的lib目錄下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar b.創(chuàng)建用戶及初始化數(shù)據(jù)庫
useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm #在各個節(jié)點(diǎn)均創(chuàng)建用戶
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini將其中的server_host=cm-server #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password] #使用選項
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scmc.將文件將cm-server修改完成的文件分發(fā)到其他各節(jié)點(diǎn)
for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;doned.創(chuàng)建本地源
mv CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/e.啟動服務(wù)
在cm-server啟動server和agent服務(wù)，在其他節(jié)點(diǎn)啟動agent服務(wù)
/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start服務(wù)器均啟動后，可以瀏覽器訪問cm-server的7180端口,用戶名/密碼為admin/admin
接受協(xié)議繼續(xù)
可以選擇適用60天
提示一些涉及許可證的信息
勾選管理的主機(jī)繼續(xù)操作
選擇CDH-5.14版本
parcel安裝
主機(jī)正確性檢查
群集設(shè)置（選擇安裝的服務(wù)）
自定義角色分配，選擇安裝在那個節(jié)點(diǎn)上
數(shù)據(jù)庫設(shè)置
需要提前創(chuàng)建數(shù)據(jù)庫及授權(quán)其他節(jié)點(diǎn)可以正常連接
審核更改
集群安裝
完成安裝
后期可添加服務(wù)
