如何理解CentOS7中安裝LZO壓縮程序,針對(duì)這個(gè)問題,這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。
我們提供的服務(wù)有:成都網(wǎng)站建設(shè)、網(wǎng)站制作、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、含山ssl等。為超過千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù),是有科學(xué)管理、有技術(shù)的含山網(wǎng)站制作公司
一、準(zhǔn)備工作:
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool
二、安裝LZO
1、解壓編譯,并安裝
cd /opt/software
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gz
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install
2、復(fù)制文件
將/usr/local/hadoop/lzo/lib/* 復(fù)制到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/
3、修改配置環(huán)境變量(vi ~/.bash_profile),增加如下內(nèi)容:
export PATH=/usr/local/hadoop/lzo/:$PATH
三、安裝LZOP
1、下載并解壓
cd /opt/software
wget http://www.lzop.org/download/lzop-1.04.tar.gz
tar -zxvf lzop-1.04.tar.gz
2、在編譯前需要的環(huán)境變量(~/.bash_profile)中配置如下內(nèi)容:
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注:如不配置變量,在編譯時(shí)會(huì)報(bào):configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.
3、進(jìn)入解壓后目錄,并編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make && make install
4、將lzop復(fù)制到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop
5、測試lzop
輸入:lzop nohup.out
產(chǎn)生:lzo后綴的壓縮文件: /home/hadoop/data/access_20131219.log.lzo即表示成功
注:在測試中可能遇到報(bào)錯(cuò):lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
解決辦法:增加環(huán)境變量(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
四、安裝Hadoop-LZO
注:編譯時(shí)需要maven,自行配置好maven
1、下載介質(zhì):https://github.com/twitter/hadoop-lzo
2、解壓并編譯:
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true
3、編譯完成執(zhí)行如下命令:
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh6.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/
如果為集群環(huán)境,則接下來就是將/app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh6.7.0/lib/native/同步到其它所有的hadoop節(jié)點(diǎn)。
注意,要保證目錄/app/hadoop-2.6.0-cdh6.7.0/lib/native/下的jar包,運(yùn)行hadoop的用戶都有執(zhí)行權(quán)限。
五、產(chǎn)生index文件
cd /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注:lzo文件必須在hdfs文件系統(tǒng)中。
至此完成CentOS7中安裝LZO壓縮程序
關(guān)于如何理解CentOS7中安裝LZO壓縮程序問題的解答就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。