1、創(chuàng)建用戶組
成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),諸城企業(yè)網(wǎng)站建設(shè),諸城品牌網(wǎng)站建設(shè),網(wǎng)站定制,諸城網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,諸城網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力??沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿,時刻以成就客戶成長自我,堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。sudo addgroup hadoop
2、創(chuàng)建用戶
sudo adduser -ingroup hadoop hadoop
回車之后會提示輸入密碼,輸入自己要設(shè)定的密碼然后一路回車
3、為hadoop用戶添加權(quán)限
sudo gedit /etc/sudoers
然后保存退出。
4、切換用戶hadoop登錄操作系統(tǒng)
5、安裝ssh
sudo apt-get install openssh-server
安裝完成后啟動ssh server服務(wù)
sudo /etc/init.d/ssh start
查看ssh服務(wù)是否啟動
ps -e | grep ssh
如果看到ssh等字樣說明啟動成功
6、設(shè)置免密碼登錄,生成私鑰和公鑰
ssh-keygen -t rsa -P ""
此時會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者為私鑰,后者為公鑰。
下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內(nèi)容。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
7、登錄ssh
ssh localhost
退出
exit
8、安裝jdk
sudo apt-get install openjdk-7-jdk
這里安裝的是openjdk
查看安裝結(jié)果,輸入命令:
java -version
如果出現(xiàn)java version ...字樣說明安裝成功
9、安裝hadoop2.7.0
首先下載官網(wǎng)下載( hadoop-2.7.0.tar.gz ):http://mirror.bit.edu.cn/apache/hadoop/common/
10、安裝hadoop2.7.0
解壓:
sudo tar xzf hadoop-2.7.0.tar.gz
解壓之后拷貝到 /usr/local/hadoop目錄下
sudo mv hadoop-2.7.0 /usr/local/hadoop
給/usr/local/hadoop設(shè)置訪問權(quán)限
sudo chmod 777 /usr/local/hadoop
11、配置
配置~/.bashrc,首先查看jdk安裝路徑
update-alternatives --config java
完整的路徑為
/usr/lib/jvm/java-7-openjdk-i386/jre/bin/java
我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-i386
配置.bashrc文件
sudo gedit ~/.bashrc
該命令會打開該文件的編輯窗口,在文件末尾追加下面內(nèi)容,然后保存,關(guān)閉編輯窗口。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
執(zhí)行下面命,使添加的環(huán)境變量生效:
source ~/.bashrc
編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh
執(zhí)行下面命令,打開該文件的編輯窗口
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME變量,修改此變量如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
到此電機模式已經(jīng)安裝完成下面進行一個簡單wordcount測試
/usr/local/hadoop路徑下創(chuàng)建input文件夾
mkdir input
拷貝README.txt到input
cp README.txt input
執(zhí)行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.0-sources.jar org.apache.hadoop.examples.WordCount input output
如果出現(xiàn)類似以上信息說明執(zhí)行成功
下面查看結(jié)果
執(zhí)行
cat output/*