大數(shù)據(jù)定義是：大量的非結構話的數(shù)據(jù)。量要大，要非結構化。

在雞冠等地區(qū)，都構建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供成都做網(wǎng)站、成都網(wǎng)站制作 網(wǎng)站設計制作定制網(wǎng)站開發(fā),公司網(wǎng)站建設,企業(yè)網(wǎng)站建設,品牌網(wǎng)站設計,網(wǎng)絡營銷推廣,成都外貿網(wǎng)站建設公司,雞冠網(wǎng)站建設費用合理。

Hadoop 分三部分組成，1.hdfs hadoop分布式文件系統(tǒng)。2.MapReduce 分布式計算。3.hive 分布式存儲。

操作系統(tǒng)：centos6.5 64

環(huán)境搭建：1.安裝Hadoop，2.安裝mysql， 3.安裝hive，4，安裝jdk

1. Hadoop安裝：

    下載Hadoop1.0.4，hadoop-1.0.4.tar.gz。

 wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.4/hadoop-1.0.4.tar.gz

    解壓：

    tar xzvf hadoop-1.0.4.tar.gz  -C /usr

    修改3個配置文件

    cd /usr/hadoop-1.0.4/conf/

     vi core-site.xml

    

        fs.default.name

        hdfs://localhost:9000

    

   vi mapred-site.xml

    

        mapred.job.tracker

        localhost:9001

    

   vi hdfs-site.xml

    

        dfs.name.dir

        /home/longlong/temp/log1,/home/longlong/temp/log2

    

    

        dfs.data.dir

        /home/longlong/temp/data1,/home/longlong/temp/data2

    

    

        dfs.replication

        2

    

    配置環(huán)境變量，此處粘貼了java，hive，hadoop的環(huán)境變量

    vi /etc/profile

JAVA_HOME=/home/Hadoop/jdk1.6.0_45

CLASSPATH=$JAVA_HOME/jre/lib/rt.jar

HADOOP_HOME=/usr/hadoop-1.0.4

HIVE_HOME=/usr/hive

PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin:$HIVE_HOME/bin

    安裝jdk:

    下載jdk

wget http://download.oracle.com/otn-pub/java/jdk/6u45-b06/jdk-6u45-linux-x64.bin

    chmod +x jdk-6u45-linux-x64.bin

     ./jdk-6u45-linux-x64.bin

    配置 vi hadoop-env.sh，末尾添加jdkhome

export JAVA_HOME=/home/Hadoop/jdk1.6.0_45

    進入bin目錄配置  vi hadoop-config.sh

export HADOOP_HOME=${HADOOP_PREFIX}

export HADOOP_HOME_WARN_SUPPRESS=1

    格式化

     ./hadoop namenode -format

2.mysql 安裝，

3.hive安裝，

    下載

 wget http://mirrors.cnnic.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz

tar -xf apache-hive-0.13.1-bin.tar.gz

 mv apache-hive-0.13.1-bin hive

更換元數(shù)據(jù)庫

    cd conf/

 touch hive-site.xml

vi hive-site.xml

    

        javax.jdo.option.ConnectionURL

        jdbc:mysql://localhost:3306/hive

    

    

        javax.jdo.option.ConnectionDriverName

        com.mysql.jdbc.Driver

    

    

        javax.jdo.option.ConnectionUserName

        root

    

    

        javax.jdo.option.ConnectionPassword

        root

    

    下載mysql驅動，

 wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.0.8.tar.gz

tar -xzvf mysql-connector-java-5.0.8.tar.gz

cd mysql-connector-java-5.0.8

cp mysql-connector-java-5.0.8-bin.jar /usr/hive/lib/

啟動

1.hdfs 啟動

cd /usr/hadoop-1.0.4/bin

./start-all.sh

password/操作系統(tǒng)密碼

2.mysql 啟動

service mysqld start

mysql -uroot -proot

3.hive啟動

cd /usr/hive/bin

./hive

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享文章：Hadoop實踐（一）環(huán)境搭建-創(chuàng)新互聯(lián)
文章位置：http://weahome.cn/article/jdpdj.html