安裝oozie經(jīng)歷了好長的時間,先是源碼包,但是放棄了。。。
創(chuàng)新互聯(lián)公司一直通過網(wǎng)站建設和網(wǎng)站營銷幫助企業(yè)獲得更多客戶資源。 以"深度挖掘,量身打造,注重實效"的一站式服務,以成都網(wǎng)站建設、成都網(wǎng)站設計、移動互聯(lián)產(chǎn)品、成都營銷網(wǎng)站建設服務為核心業(yè)務。十余年網(wǎng)站制作的經(jīng)驗,使用新網(wǎng)站建設技術,全新開發(fā)出的標準網(wǎng)站,不但價格便宜而且實用、靈活,特別適合中小公司網(wǎng)站制作。網(wǎng)站管理系統(tǒng)簡單易用,維護方便,您可以完全操作網(wǎng)站資料,是中小公司快速網(wǎng)站建設的選擇。然后就是安裝的這個CDH版本的,弄了好久,經(jīng)常報各種錯誤。
最后整理出來這篇。
這個安裝過程同樣適用于oozie4.1.0的其他的CDH版本。
先對文件進行下載:
這里使用的是CDH版本的,免編譯,看著編譯的過程就夠了。下載地址:
http://archive.cloudera.com/cdh6/cdh/5/oozie-4.1.0-cdh6.5.2.tar.gz
文件較大,1.6G
還需要下載ExjJS,這是擴展的JavaScript的UI桌面框架。
必須是2.2版本的,這是官網(wǎng)指定的,已經(jīng)寫死在oozied.sh中。下載地址:
http://download.csdn.net/download/feature_09/10015730
安裝環(huán)境:
redhat5.5,64位虛擬機
hadoop2.6.0-cdh6.5.2
jdk1.8.0_11
一、解壓安裝oozie
[hadoop@fa01 ~]$ tar -zxvf oozie-4.1.0-cdh6.5.2.tar.gz
[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh6.5.2
二、配置環(huán)境變量
[hadoop@fa01 ~]$ vim .bash_profile
export OOZIE_HOME=/home/hadoop/oozie-4.1.0-cdh6.5.2
[hadoop@fa01 ~]$ source .bash_profile
三、還需要配置一下hadoop的core-site文件。
我這里因為之前安hive的時候修改過一次這個內(nèi)容了,所以沒做修改。
如果修改的話,需要重新啟動一下hadoop集群。
[hadoop@fa01 hadoop]$ vim core-site.xml
四、創(chuàng)建libext目錄
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ mkdir libext
五、解壓包中的hadooplibs的tar包,并把hadooplibs目錄下的內(nèi)容拷貝到剛剛創(chuàng)建的目錄下
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ tar -zxvf oozie-hadooplibs-4.1.0-cdh6.5.2.tar.gz
解壓后多了一個oozie-4.1.0-cdh6.5.2,這個名字與oozie本身名稱是一樣的,容易混亂~~~
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ cd oozie-4.1.0-cdh6.5.2/hadooplibs/
[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-cdh6.5.2.oozie-4.1.0-cdh6.5.2/* /home/hadoop/oozie-4.1.0-cdh6.5.2/libext/
[hadoop@fa01 hadooplibs]$ cp hadooplib-2.6.0-mr1-cdh6.5.2.oozie-4.1.0-cdh6.5.2/* /home/hadoop/oozie-4.1.0-cdh6.5.2/libext/
官網(wǎng)說了,如果用的是不同的hadoop版本,則需要拷貝hadoop的jar文件到libext/下
六、將之前下載好的ext2.2.zip同樣解壓到libext/目錄下
[hadoop@fa01 ~]$ unzip ExtJS-2.2.zip -d /home/hadoop/oozie-4.1.0-cdh6.5.2/libext
到解壓目錄看看有沒有。
[hadoop@fa01 ~]$ cd oozie-4.1.0-cdh6.5.2/libext/
[hadoop@fa01 libext]$ ls
七、生成war包
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ bin/addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.6.0 $HADOOP_HOME -extjs /home/hadoop/ExtJS-2.2.zip
顯示下面這樣就成功了。
八、放置JDBC驅動,三個地方+一個HDFS目錄
將mysql的JDBC驅動,放到之前創(chuàng)建的libext/目錄下,還有l(wèi)ib/目錄下
下載的這個版本的:mysql-connector-java-5.1.43-bin.jar
鏈接:http://download.csdn.net/download/feature_09/10018454
同時還要修改下權限:
[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh6.5.2/lib/mysql-connector-java-5.1.43-bin.jar
[hadoop@fa01 libext]$ chmod 777 /home/hadoop/oozie-4.1.0-cdh6.5.2/libext/mysql-connector-java-5.1.43-bin.jar
最后!還得配置一個地方!
就是這個目錄下/home/hadoop/oozie-4.1.0-cdh6.5.2/oozie-server/webapps/oozie/WEB-INF/lib
這個目錄暫時是沒有的,在開啟實例后,再添加。(第十三步)
[hadoop@fa01 lib]$ cd /home/hadoop/oozie-4.1.0-cdh6.5.2/lib
[hadoop@fa01 lib]$ cp mysql-connector-java-5.1.43-bin.jar /home/hadoop/oozie-4.1.0-cdh6.5.2/oozie-server/webapps/oozie/WEB-INF/lib
[hadoop@fa01 lib]$ ls |grep mysql
mysql-connector-java-5.1.43-bin.jar
關于mysql驅動的jar包,其實,oozie在hdfs上生成share/lib目錄后,還要在hdfs的share/lib/lib_timestamp/sqoop下(在第十步hdfs生成的sharelib路徑),放置一份mysql的驅動。
放置成功后,還有更新一下sharelib
[hadoop@fa01 lib]$ oozie admin -oozie http://fa01:11000/oozie -sharelibupdate
九、配置conf/oozie-site.xml文件
主要是配置數(shù)據(jù)庫保存源文件。
[hadoop@fa01 conf]$ vim oozie-site.xml
在文件底部添加下面這些內(nèi)容:
Oozie DataBase Name
Creates Oozie DB.
If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
JDBC driver class.
JDBC URL.
DB user name.
DB user password.
IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
if empty Configuration assumes it is NULL.
Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of
the Hadoop service (JobTracker, HDFS). The wildcard '*' configuration is
used when there is no exact match for an authority. The HADOOP_CONF_DIR contains
the relevant Hadoop *-site.xml files. If the path is relative is looked within
the Oozie configuration directory; though the path can be absolute (i.e. to point
to Hadoop client conf/ directories in the local filesystem.
同時,要在MySQL中,創(chuàng)建好用戶名和密碼。
mysql> create user 'oozie' identified by 'mysql';
mysql> grant all privileges on *.* to 'oozie'@'%' with grant option;
由于版本5不識別%,所以需要重新聲明一下主機的地址
mysql> grant all privileges on *.* to oozie@fa01 identified by 'mysql';
mysql> flush privileges;
十、在hdfs上創(chuàng)建包
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ pwd
/home/hadoop/oozie-4.1.0-cdh6.5.2
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ bin/oozie-setup.sh sharelib create -fs hdfs://192.168.20.32:9000 -locallib oozie-sharelib-4.1.0-cdh6.5.2-yarn.tar.gz
十一、給oozie-server賦予權限
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ chmod 777 oozie-server -R
[hadoop@fa01 libext]$ chmod 777 ext-2.2 -R
十二、創(chuàng)建數(shù)據(jù)庫腳本,并初始化數(shù)據(jù)庫
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection
之后的顯示:
十三、開啟oozie的實例
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ bin/oozied.sh start
十四、運行oozie
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ bin/oozied.sh run &
十五、測試、查看
jps一下,出現(xiàn)Bootstrap就對了三分之一。
繼續(xù):出現(xiàn)NORMAL就對了三分之二。
[hadoop@fa01 oozie-4.1.0-cdh6.5.2]$ bin/oozie admin -oozie http://192.168.20.32:11000/oozie -status
System mode: NORMAL
再繼續(xù):
登錄頁面http://192.168.20.32:11000/oozie/,可以正常顯示如下頁面,就百分之百了。
參考:
http://www.cnblogs.com/zlslch/p/6118431.html
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。