真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

HIVE數(shù)據(jù)類型及存儲格式

https://www.cnblogs.com/qingyunzong/category/1191578.html
一、數(shù)據(jù)類型
1、基本數(shù)據(jù)類型
Hive 支持關系型數(shù)據(jù)中大多數(shù)基本數(shù)據(jù)類型
boolean true/false TRUE
tinyint 1字節(jié)的有符號整數(shù) -128~127 1Y
smallint 2個字節(jié)的有符號整數(shù),-32768~32767 1S
int 4個字節(jié)的帶符號整數(shù) 1
bigint 8字節(jié)帶符號整數(shù) 1L
float 4字節(jié)單精度浮點數(shù) 1.0
double 8字節(jié)雙精度浮點數(shù) 1.0
deicimal 任意精度的帶符號小數(shù) 1.0
String 字符串,變長 “a”,’b’
varchar 變長字符串 “a”,’b’
char 固定長度字符串 “a”,’b’
binary 字節(jié)數(shù)組 無法表示
timestamp 時間戳,納秒精度 122327493795
date 日期 ‘2018-04-07’
和其他的SQL語言一樣,這些都是保留字。需要注意的是所有的這些數(shù)據(jù)類型都是對Java中接口的實現(xiàn),因此這些類型的具體行為細節(jié)和Java中對應的類型是完全一致的。例如,string類型實現(xiàn)的是Java中的String,float實現(xiàn)的是Java中的float,等等。
2、復雜類型
array 有序的的同類型的集合 array(1,2)
map key-value,key必須為原始類型,value可以任意類型 map(‘a(chǎn)’,1,’b’,2)
struct 字段集合,類型可以不同 struct(‘1’,1,1.0), named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0)
二、存儲格式
Hive會為每個創(chuàng)建的數(shù)據(jù)庫在HDFS上創(chuàng)建一個目錄,該數(shù)據(jù)庫的表會以子目錄形式存儲,表中的數(shù)據(jù)會以表目錄下的文件形式存儲。對于default數(shù)據(jù)庫,默認的缺省數(shù)據(jù)庫沒有自己的目錄,default數(shù)據(jù)庫下的表默認存放在/user/hive/warehouse目錄下。
(1)textfile
textfile為默認格式,存儲方式為行存儲。數(shù)據(jù)不做壓縮,磁盤開銷大,數(shù)據(jù)解析開銷大。
(2)SequenceFile
SequenceFile是Hadoop API提供的一種二進制文件支持,其具有使用方便、可分割、可壓縮的特點。
SequenceFile支持三種壓縮選擇:NONE, RECORD, BLOCK。 Record壓縮率低,一般建議使用BLOCK壓縮。
(3)RCFile
一種行列存儲相結合的存儲方式。
(4)ORCFile
數(shù)據(jù)按照行分塊,每個塊按照列存儲,其中每個塊都存儲有一個索引。hive給出的新格式,屬于RCFILE的升級版,性能有大幅度提升,而且數(shù)據(jù)可以壓縮存儲,壓縮快 快速列存取。
(5)Parquet
Parquet也是一種行式存儲,同時具有很好的壓縮性能;同時可以減少大量的表掃描和反序列化的時間。
三、數(shù)據(jù)格式
當數(shù)據(jù)存儲在文本文件中,必須按照一定格式區(qū)別行和列,并且在Hive中指明這些區(qū)分符。Hive默認使用了幾個平時很少出現(xiàn)的字符,這些字符一般不會作為內容出現(xiàn)在記錄中。
Hive默認的行和列分隔符如下表所示。
分隔符
描述
\n 對于文本文件來說,每行是一條記錄,所以\n 來分割記錄
^A (Ctrl+A) 分割字段,也可以用\001 來表示
^B (Ctrl+B) 用于分割 Arrary 或者 Struct 中的元素,或者用于 map 中鍵值之間的分割,也可以用\002 分割。
^C 用于 map 中鍵和值自己分割,也可以用\003 表示。

10余年的北碚網(wǎng)站建設經(jīng)驗,針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務,響應快,48小時及時工作處理。成都全網(wǎng)營銷推廣的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同,自動調整北碚建站的顯示方式,使網(wǎng)站能夠適用不同顯示終端,在瀏覽器中調整網(wǎng)站的寬度,無論在任何一種瀏覽器上瀏覽網(wǎng)站,都能展現(xiàn)優(yōu)雅布局與設計,從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)公司從事“北碚網(wǎng)站設計”,“北碚網(wǎng)站推廣”以來,每個客戶項目都認真落實執(zhí)行。


分享標題:HIVE數(shù)據(jù)類型及存儲格式
文章出自:http://weahome.cn/article/ipidgh.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部