情景描述：

專(zhuān)注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)衡東免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上千家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

用戶(hù)的登錄信息以記錄的方式被存放在mysql(版本為5.1.73)的表中，現(xiàn)打算使用sqoop將登錄記錄抽取并存放到hdfs上，并使用mapreduce程序統(tǒng)計(jì)每個(gè)用戶(hù)的登錄次數(shù)。

環(huán)境描述：
采用4臺(tái)虛擬機(jī)部署hadoop2.6.5的完全分布式環(huán)境，在其中一臺(tái)擔(dān)任namenode節(jié)點(diǎn)的主機(jī)上安裝mysql-server和sqoop，用于存放和抽取源數(shù)據(jù)。除此之外，使用一臺(tái)另外的機(jī)器編寫(xiě)mapreduce程序和發(fā)布jar包，提供給hadoop使用。
4臺(tái)部署hadoop機(jī)器信息與集群中擔(dān)任的角色信息如下：

IP         主機(jī)名              hadoop集群擔(dān)任角色
10.0.1.100    hadoop-test-nn    NameNode,ResourceManager
10.0.1.101    hadoop-test-snn   SecondaryNameNode
10.0.1.102    hadoop-test-dn1   DataNode,NodeManager
10.0.1.103    hadoop-test-dn2   DataNode,NodeManager

涉及軟件：
1. jdk1.7.0_45 --hadoop和sqoop運(yùn)行必須。
2. hadoop2.6.5 --下載地址：http://apache.fayea.com/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
3. sqoop1.4.6 --下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/ 注：請(qǐng)選擇sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz下載，其他版本可能存在于hadoop2.6.5不兼容，導(dǎo)致抽取數(shù)據(jù)時(shí)出現(xiàn)異常。
4. mysql-connector-java-5.1.32-bin.jar，連接mysql的可執(zhí)行JAR包，用于提供給sqoop連接mysql數(shù)據(jù)庫(kù)，可以從https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz 下載的tar包中解壓后的目錄中獲得。

準(zhǔn)備工作：
1. 修改主機(jī)名，修改/etc/hosts文件，配置主機(jī)名和IP映射關(guān)系，使各VM間可以互相解析主機(jī)名：
在每個(gè)VM的/etc/hosts文件中添加如下記錄：

10.0.1.100      hadoop-test-nn nn
10.0.1.101      hadoop-test-snn snn
10.0.1.102      hadoop-test-dn1 dn1
10.0.1.103      hadoop-test-dn2 dn2

2. 在每個(gè)VM上建立hadoop用戶(hù)，以后的配置工作使用hadoop用戶(hù)來(lái)進(jìn)行，并使用ssh-keygen和ssh-copy-id命令配置各VM的hadoop用戶(hù)可以SSH互信訪(fǎng)問(wèn)。
3. 安裝JDK并配置環(huán)境變量：為每臺(tái)VM解壓jdk的jar包到/usr/local/java下，安裝JDK，并配置JAVA_HOME變量，在/etc/profile中添加如下記錄：

export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

下一節(jié)介紹hadoop完全分布式環(huán)境搭建。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

分享題目：hadoop2.6.5+sqoop1.4.6環(huán)境部署與測(cè)試（一）-創(chuàng)新互聯(lián)
新聞來(lái)源：http://weahome.cn/article/spgse.html