這篇文章給大家分享的是有關(guān)hive如何開(kāi)啟lzo壓縮的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

讓客戶(hù)滿(mǎn)意是我們工作的目標(biāo)，不斷超越客戶(hù)的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶(hù)，將通過(guò)不懈努力成為客戶(hù)在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名申請(qǐng)、網(wǎng)絡(luò)空間、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、南樂(lè)網(wǎng)站維護(hù)、網(wǎng)站推廣。

hive開(kāi)啟lzo壓縮

1.Hadoop安裝lzo依賴(lài)并進(jìn)行配置

涉及到j(luò)ar包的編譯以及core-site文件的配置

• 可以在mapred-site文件中，設(shè)置是在map還是reduce端開(kāi)啟壓縮。在這里只是設(shè)置mapreduce的壓縮。hadoop和hive是可以單獨(dú)設(shè)置的。

2. 在hive中開(kāi)啟壓縮以及設(shè)置壓縮方式

• 在hive客戶(hù)端中設(shè)置參數(shù)，開(kāi)始hive的map或者reduce端的壓縮。

  set mapred.output.compress=true;
  set hive.exec.compress.output=true;
  
  # 必須是LzopCodec才支持切片
  set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

3. 創(chuàng)建表指定InputFormat以及OutFormat

CREATE EXTERNAL TABLE ods_log (`line` string) PARTITIONED BY (`dt` string) 
STORED AS  
  INPUTFORMAT  'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/warehouse/gmall/ods/ods_log';

• INPUTFORMAT 是指從表中讀取時(shí)，支持從lzo文件中讀取

• OUTPUTFORMAT是指寫(xiě)入數(shù)據(jù)到文件，輸入數(shù)據(jù)的格式

4. 上傳數(shù)據(jù)到表中

load data inpath '/origin_data/gmall/log/topic_log/2020-06-14' into table ods_log partition(dt='2020-06-14');

將數(shù)據(jù)導(dǎo)入到hive中后，數(shù)據(jù)會(huì)保存在lzo文件中

5. 為lzo文件創(chuàng)建索引

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /warehouse/gmall/ods/ods_log/dt=2020-06-14

感謝各位的閱讀！關(guān)于“hive如何開(kāi)啟lzo壓縮”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！