1.選取三臺(tái)服務(wù)器（CentOS系統(tǒng)64位）
我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、微信公眾號(hào)開(kāi)發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、簡(jiǎn)陽(yáng)ssl等。為數(shù)千家企事業(yè)單位解決了網(wǎng)站和推廣的問(wèn)題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的簡(jiǎn)陽(yáng)網(wǎng)站制作公司
114.55.246.88 主節(jié)點(diǎn)
114.55.246.77 從節(jié)點(diǎn)
114.55.246.93 從節(jié)點(diǎn)
之后的操作如果是用普通用戶操作的話也必須知道root用戶的密碼，因?yàn)橛行┎僮魇堑糜胷oot用戶操作。如果是用root用戶操作的話就不存在以上問(wèn)題。
我是用root用戶操作的。
2.修改hosts文件
修改三臺(tái)服務(wù)器的hosts文件。
vi /etc/hosts
在原文件的基礎(chǔ)最后面加上：
114.55.246.88 Master114.55.246.77 Slave1114.55.246.93 Slave2
修改完成后保存執(zhí)行如下命令。
source /etc/hosts
3.ssh無(wú)密碼驗(yàn)證配置
3.1安裝和啟動(dòng)ssh協(xié)議
我們需要兩個(gè)服務(wù)：ssh和rsync。
可以通過(guò)下面命令查看是否已經(jīng)安裝：
rpm -qa|grep openssh
rpm -qa|grep rsync
如果沒(méi)有安裝ssh和rsync，可以通過(guò)下面命令進(jìn)行安裝：
yum install ssh （安裝ssh協(xié)議）
yum install rsync （rsync是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具，可通過(guò)LAN/WAN快速同步多臺(tái)主機(jī)間的文件）
service sshd restart （啟動(dòng)服務(wù)）
3.2 配置Master無(wú)密碼登錄所有Salve
配置Master節(jié)點(diǎn)，以下是在Master節(jié)點(diǎn)的配置操作。
1）在Master節(jié)點(diǎn)上生成密碼對(duì)，在Master節(jié)點(diǎn)上執(zhí)行以下命令：
ssh-keygen -t rsa -P ''
生成的密鑰對(duì)：id_rsa和id_rsa.pub，默認(rèn)存儲(chǔ)在"/root/.ssh"目錄下。
2）接著在Master節(jié)點(diǎn)上做如下配置，把id_rsa.pub追加到授權(quán)的key里面去。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3）修改ssh配置文件"/etc/ssh/sshd_config"的下列內(nèi)容，將以下內(nèi)容的注釋去掉：
RSAAuthentication yes # 啟用 RSA 認(rèn)證
PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑（和上面生成的文件同）
4）重啟ssh服務(wù)，才能使剛才設(shè)置有效。
service sshd restart
5）驗(yàn)證無(wú)密碼登錄本機(jī)是否成功。
ssh localhost
6）接下來(lái)的就是把公鑰復(fù)制到所有的Slave機(jī)器上。使用下面的命令進(jìn)行復(fù)制公鑰：
scp /root/.ssh/id_rsa.pub root@Slave1:/root/
scp /root/.ssh/id_rsa.pub root@Slave2:/root/
接著配置Slave節(jié)點(diǎn)，以下是在Slave1節(jié)點(diǎn)的配置操作。
1）在"/root/"下創(chuàng)建".ssh"文件夾，如果已經(jīng)存在就不需要?jiǎng)?chuàng)建了。
mkdir /root/.ssh
2）將Master的公鑰追加到Slave1的授權(quán)文件"authorized_keys"中去。
cat /root/id_rsa.pub >> /root/.ssh/authorized_keys
3）修改"/etc/ssh/sshd_config"，具體步驟參考前面Master設(shè)置的第3步和第4步。
4）用Master使用ssh無(wú)密碼登錄Slave1
ssh 114.55.246.77
5）把"/root/"目錄下的"id_rsa.pub"文件刪除掉。
rm –r /root/id_rsa.pub
重復(fù)上面的5個(gè)步驟把Slave2服務(wù)器進(jìn)行相同的配置。
3.3 配置所有Slave無(wú)密碼登錄Master
以下是在Slave1節(jié)點(diǎn)的配置操作。
1）創(chuàng)建"Slave1"自己的公鑰和私鑰，并把自己的公鑰追加到"authorized_keys"文件中，執(zhí)行下面命令：
ssh-keygen -t rsa -P ''
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
2）將Slave1節(jié)點(diǎn)的公鑰"id_rsa.pub"復(fù)制到Master節(jié)點(diǎn)的"/root/"目錄下。
scp /root/.ssh/id_rsa.pub root@Master:/root/
以下是在Master節(jié)點(diǎn)的配置操作。
1）將Slave1的公鑰追加到Master的授權(quán)文件"authorized_keys"中去。
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
2）刪除Slave1復(fù)制過(guò)來(lái)的"id_rsa.pub"文件。
rm –r /root/id_rsa.pub
配置完成后測(cè)試從Slave1到Master無(wú)密碼登錄。
ssh 114.55.246.88
按照上面的步驟把Slave2和Master之間建立起無(wú)密碼登錄。這樣，Master能無(wú)密碼驗(yàn)證登錄每個(gè)Slave，每個(gè)Slave也能無(wú)密碼驗(yàn)證登錄到Master。
4.安裝基礎(chǔ)環(huán)境（JAVA和SCALA環(huán)境）
4.1 Java1.8環(huán)境搭建
1）下載jdk-8u121-linux-x64.tar.gz解壓
tar -zxvf jdk-8u121-linux-x64.tar.gz
2）添加Java環(huán)境變量，在/etc/profile中添加：
export JAVA_HOME=/usr/local/jdk1.8.0_121PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH
3）保存后刷新配置
source /etc/profile
4.2 Scala2.11.8環(huán)境搭建
1）下載scala安裝包scala-2.11.8.rpm安裝
rpm -ivh scala-2.11.8.rpm
2）添加Scala環(huán)境變量，在/etc/profile中添加：
export SCALA_HOME=/usr/share/scala
export PATH=$SCALA_HOME/bin:$PATH
3）保存后刷新配置
source /etc/profile
5.Hadoop2.7.3完全分布式搭建
以下是在Master節(jié)點(diǎn)操作：
1）下載二進(jìn)制包hadoop-2.7.3.tar.gz
2）解壓并移動(dòng)到相應(yīng)目錄，我習(xí)慣將軟件放到/opt目錄下，命令如下：
tar -zxvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 /opt
3）修改相應(yīng)的配置文件。
修改/etc/profile，增加如下內(nèi)容：
export HADOOP_HOME=/opt/hadoop-2.7.3/
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
修改完成后執(zhí)行：
source /etc/profile
修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改JAVA_HOME 如下：
export JAVA_HOME=/usr/local/jdk1.8.0_121
修改$HADOOP_HOME/etc/hadoop/slaves，將原來(lái)的localhost刪除，改成如下內(nèi)容：
Slave1
Slave2
修改$HADOOP_HOME/etc/hadoop/core-site.xml
fs.defaultFS
hdfs://Master:9000
io.file.buffer.size
131072
hadoop.tmp.dir
/opt/hadoop-2.7.3/tmp
修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
dfs.namenode.secondary.http-address
Master:50090
dfs.replication
2
dfs.namenode.name.dir
file:/opt/hadoop-2.7.3/hdfs/name
dfs.datanode.data.dir
file:/opt/hadoop-2.7.3/hdfs/data
復(fù)制template，生成xml，命令如下：
cp mapred-site.xml.template mapred-site.xml
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
Master:10020
mapreduce.jobhistory.address
Master:19888
修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.address
Master:8032
yarn.resourcemanager.scheduler.address
Master:8030
yarn.resourcemanager.resource-tracker.address
Master:8031
yarn.resourcemanager.admin.address
Master:8033
yarn.resourcemanager.webapp.address
Master:8088
4）復(fù)制Master節(jié)點(diǎn)的hadoop文件夾到Slave1和Slave2上。
scp -r /opt/hadoop-2.7.3 root@Slave1:/opt
scp -r /opt/hadoop-2.7.3 root@Slave2:/opt
5）在Slave1和Slave2上分別修改/etc/profile，過(guò)程同Master一樣。
6）在Master節(jié)點(diǎn)啟動(dòng)集群，啟動(dòng)之前格式化一下namenode：
hadoop namenode -format
啟動(dòng)：
/opt/hadoop-2.7.3/sbin/start-all.sh
至此hadoop的完全分布式環(huán)境搭建完畢。
7）查看集群是否啟動(dòng)成功：
jps
Master顯示：
SecondaryNameNode
ResourceManager
NameNode
Slave顯示：
NodeManager
DataNode
6.Spark2.1.0完全分布式環(huán)境搭建
以下操作都在Master節(jié)點(diǎn)進(jìn)行。
1）下載二進(jìn)制包spark-2.1.0-bin-hadoop2.7.tgz
2）解壓并移動(dòng)到相應(yīng)目錄，命令如下：
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
mv hadoop-2.7.3 /opt
3）修改相應(yīng)的配置文件。
修改/etc/profie，增加如下內(nèi)容：
export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin
復(fù)制spark-env.sh.template成spark-env.sh
cp spark-env.sh.template spark-env.sh
修改$SPARK_HOME/conf/spark-env.sh，添加如下內(nèi)容：
export JAVA_HOME=/usr/local/jdk1.8.0_121export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/opt/hadoop-2.7.3export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=114.55.246.88export SPARK_MASTER_HOST=114.55.246.88export SPARK_LOCAL_IP=114.55.246.88export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.3/bin/hadoop classpath)
復(fù)制slaves.template成slaves
cp slaves.template slaves
修改$SPARK_HOME/conf/slaves，添加如下內(nèi)容：
Master
Slave1
Slave2
4）將配置好的spark文件復(fù)制到Slave1和Slave2節(jié)點(diǎn)。
scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave1:/opt
scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave2:/opt
5）修改Slave1和Slave2配置。
在Slave1和Slave2上分別修改/etc/profile，增加Spark的配置，過(guò)程同Master一樣。
在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，將export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2對(duì)應(yīng)節(jié)點(diǎn)的IP。
6）在Master節(jié)點(diǎn)啟動(dòng)集群。
/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
7）查看集群是否啟動(dòng)成功：
jps
Master在Hadoop的基礎(chǔ)上新增了：
Master
Slave在Hadoop的基礎(chǔ)上新增了：
Worker
重慶分公司
重慶分公司
