這篇文章主要介紹“什么是拉鏈表”，在日常操作中，相信很多人在什么是拉鏈表問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”什么是拉鏈表”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比和平網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式和平網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋和平地區(qū)。費(fèi)用合理售后完善，10年實(shí)體公司更值得信賴。

 一、拉鏈表介紹

拉鏈表：維護(hù)歷史狀態(tài)，以及最新狀態(tài)數(shù)據(jù)的一種表，拉鏈表根據(jù)拉鏈粒度的不同，實(shí)際上相當(dāng)于快照，只不過做了優(yōu)化，去除了一部分不變的記錄，通過拉鏈表可以很方便的還原出拉鏈時點(diǎn)的客戶記錄

二、拉鏈表場景

數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計過程中，經(jīng)常會遇到這樣的需求：

表中的部分字段會被update，例如：用戶的地址，產(chǎn)品的描述信息，品牌信息等等;

需要查看某一個時間點(diǎn)或者時間段的歷史快照信息，例如：查看某一個產(chǎn)品在歷史某一時間點(diǎn)的狀態(tài) 查看某一個用戶在過去某一段時間內(nèi)，更新過幾次等等

變化的比例和頻率不是很大，例如：總共有1000萬的會員，每天新增和發(fā)生變化的有10萬左右

三、商品數(shù)據(jù)案例

需求：商品表：

2019年12月20日的數(shù)據(jù)如下所示：

商品的狀態(tài)，會隨著時間推移而變化，我們需要將商品的所有變化的歷史信息都保存下來。如何實(shí)現(xiàn)呢?

方案一: 快照每一天的數(shù)據(jù)到數(shù)倉(圖解)

該方案為：

• 每一天都保存一份全量，將所有數(shù)據(jù)同步到數(shù)倉中(我這里就使用MySQL操作的)

• 很多記錄都是重復(fù)保存，沒有任何變化

12月20日(4條數(shù)據(jù))

12月21日(10條數(shù)據(jù))

12月22日(18條數(shù)據(jù))

方案一: MySQL到，MySQL數(shù)倉代碼實(shí)現(xiàn)

MySQL初始化

1.在MySQL中zw庫和商品表用于到原始數(shù)據(jù)層

-- 創(chuàng)建數(shù)據(jù)庫 create database if not exists zw; -- 創(chuàng)建商品表 create table if not exists `zw`.`t_product`( goods_id varchar(50), -- 商品編號  goods_status varchar(50), -- 商品狀態(tài)  createtime varchar(50), -- 商品創(chuàng)建時間  modifytime varchar(50) -- 商品修改時間 );

2.在MySQL中創(chuàng)建ods和dw層 模擬數(shù)倉

-- ods創(chuàng)建商品表 create table if not exists `zw`.`ods_t_product`( goods_id varchar(50), -- 商品編號  goods_status varchar(50), -- 商品狀態(tài)  createtime varchar(50), -- 商品創(chuàng)建時間  modifytime varchar(50), -- 商品修改時間 cdat varchar(10)   --模擬hive分區(qū) )default character set = 'utf8'; ; -- dw創(chuàng)建商品表 create table if not exists `zw`.`dw_t_product`( goods_id varchar(50), -- 商品編號  goods_status varchar(50), -- 商品狀態(tài)  createtime varchar(50), -- 商品創(chuàng)建時間  modifytime varchar(50), -- 商品修改時間  cdat varchar(10)  -- 模擬hive分區(qū) )default character set = 'utf8'; ;

增量導(dǎo)入12月20號數(shù)據(jù)

1.原始數(shù)據(jù)導(dǎo)入12月20號數(shù)據(jù)(4條)

insert into `zw`.`t_product`(goods_id, goods_status, createtime, modifytime) values ('001', '待審核', '2019-12-18', '2019-12-20'), ('002', '待售', '2019-12-19', '2019-12-20'), ('003', '在售', '2019-12-20', '2019-12-20'), ('004', '已刪除', '2019-12-15', '2019-12-20');

注意：由于我這里使用的MySQL來模擬的數(shù)倉在這里偷個懶直接使用insert into的方式導(dǎo)入數(shù)據(jù)，在企業(yè)中可能會使用hive來做數(shù)倉使用kettle  或者sqoop或datax等來同步數(shù)據(jù)

# 從原始數(shù)據(jù)層導(dǎo)入到ods 層 insert into zw.ods_t_product select *,'20191220' from zw.t_product ; # 從ods同步到dw層 insert into zw.dw_t_product select * from zw.ods_t_product where cdat='20191220';

增量導(dǎo)入12月21數(shù)據(jù)

1.原始數(shù)據(jù)層導(dǎo)入12月21日數(shù)據(jù)(6條數(shù)據(jù))

UPDATE `zw`.`t_product` SET goods_status = '待售', modifytime = '2019-12-21' WHERE goods_id = '001'; INSERT INTO `zw`.`t_product`(goods_id, goods_status, createtime, modifytime) VALUES ('005', '待審核', '2019-12-21', '2019-12-21'), ('006', '待審核', '2019-12-21', '2019-12-21');

2.將數(shù)據(jù)導(dǎo)入到ods層與dw層

# 從原始數(shù)據(jù)層導(dǎo)入到ods 層 insert into zw.ods_t_product select *,'20191221' from zw.t_product ; # 從ods同步到dw層 insert into zw.dw_t_product select * from zw.ods_t_product where cdat='20191221';

3.查看dw層的運(yùn)行結(jié)果

select * from zw.dw_t_product where cdat='20191221';

增量導(dǎo)入12月22日數(shù)據(jù)

1.原始數(shù)據(jù)層導(dǎo)入12月22日數(shù)據(jù)（6條數(shù)據(jù)）

UPDATE `zw`.`t_product` SET goods_status = '已刪除', modifytime = '2019-12-22' WHERE goods_id = '003'; UPDATE `zw`.`t_product` SET goods_status = '已刪除', modifytime = '2019-12-22' WHERE goods_id = '006'; INSERT INTO `zw`.`t_product`(goods_id, goods_status, createtime, modifytime) VALUES ('007', '待審核', '2019-12-22', '2019-12-22'), ('008', '待審核', '2019-12-22', '2019-12-22');

2.將數(shù)據(jù)導(dǎo)入到ods層與dw層

# 從原始數(shù)據(jù)層導(dǎo)入到ods 層 insert into zw.ods_t_product select *,'20191222' from zw.t_product ; # 從ods同步到dw層 insert into zw.dw_t_productpeizhiwenjian select * from zw.ods_t_product where cdat='20191222';

3.查看dw層的運(yùn)行結(jié)果

select * from zw.dw_t_product where cdat='20191222';

從上述案例，可以看到：

表每天保留一份全量，每次全量中會保存很多不變的信息，如果數(shù)據(jù)量很大的話，對存儲是極大的浪費(fèi)

可以講表設(shè)計為拉鏈表，既能滿足反應(yīng)數(shù)據(jù)的歷史狀態(tài)，又可以最大限度地節(jié)省存儲空間。

方案二: 使用拉鏈表保存歷史快照(思路/圖解)

• 拉鏈表不存儲冗余的數(shù)據(jù)，只有某行的數(shù)據(jù)發(fā)生變化，才需要保存下來，相比每次全量同步會節(jié)省存儲空間

• 能夠查詢到歷史快照

• 額外的增加了兩列(dw_start_date、dw_end_date)，為數(shù)據(jù)行的生命周期

12月20日商品拉鏈表的數(shù)據(jù)：

12月20日的數(shù)據(jù)是全新的數(shù)據(jù)導(dǎo)入到dw表

• dw_start_date表示某一條數(shù)據(jù)的生命周期起始時間，即數(shù)據(jù)從該時間開始有效(即生效日期)

• dw_end_date表示某一條數(shù)據(jù)的生命周期結(jié)束時間，即數(shù)據(jù)到這一天(不包含)(即失效日期)

• dw_end_date為9999-12-31，表示當(dāng)前這條數(shù)據(jù)是最新的數(shù)據(jù)，數(shù)據(jù)到9999-12-31才過期

12月21日商品拉鏈表的數(shù)據(jù)

12月21日商品拉鏈表的數(shù)據(jù)

• 拉鏈表中沒有存儲冗余的數(shù)據(jù)，(只要數(shù)據(jù)沒有變化，無需同步)

• 001編號的商品數(shù)據(jù)的狀態(tài)發(fā)生了變化(從待審核 →  待售)，需要將原有的dw_end_date從9999-12-31變?yōu)?019-12-21，表示待審核狀態(tài)，在2019/12/20(包含) -  2019/12/21(不包含)有效

• 001編號新的狀態(tài)重新保存了一條記錄，dw_start_date為2019/12/21，dw_end_date為9999/12/31

• 新數(shù)據(jù)005、006、dw_start_date為2019/12/21，dw_end_date為9999/12/31

12月22日商品拉鏈表的數(shù)據(jù)

12月22日商品拉鏈表的數(shù)據(jù)

• 003編號的商品數(shù)據(jù)的狀態(tài)發(fā)生了變化(從在售→已刪除)，需要將原有的  dw_end_date從9999-12-31變?yōu)?019-12-22，表示在售狀態(tài)，在2019/12/20(包含) - 2019/12/22(不包含)  有效

• 003編號新的狀態(tài)重新保存了一條記錄，dw_start_date為2019/12/22，dw_end_date為9999/12/31

• 新數(shù)據(jù)007、008、dw_start_date為2019/12/22，dw_end_date為9999/12/31

方案二: 拉鏈表快照代碼實(shí)現(xiàn)

操作流程：

1. 鴻蒙官方戰(zhàn)略合作共建——HarmonyOS技術(shù)社區(qū)

2. 在原有dw層表上，添加額外的兩列

3. 只同步當(dāng)天修改的數(shù)據(jù)到ods層

4. 拉鏈表算法實(shí)現(xiàn)

5. 拉鏈表的數(shù)據(jù)為：當(dāng)天最新的數(shù)據(jù) UNION ALL 歷史數(shù)據(jù)

代碼實(shí)現(xiàn)：

1.在MySQL中zw庫和商品表用于到原始數(shù)據(jù)層

-- 創(chuàng)建數(shù)據(jù)庫 create database if not exists zw;  -- 創(chuàng)建商品表 create table if not exists `zw`.`t_product_2`( goods_id varchar(50), -- 商品編號 goods_status varchar(50), -- 商品狀態(tài)  createtime varchar(50), -- 商品創(chuàng)建時間  modifytime varchar(50) -- 商品修改時間 )default character set = 'utf8';

2.在MySQL中創(chuàng)建ods和dw層 模擬數(shù)倉

-- ods創(chuàng)建商品表 create table if not exists `zw`.`ods_t_product2`( goods_id varchar(50), -- 商品編號  goods_status varchar(50), -- 商品狀態(tài)  createtime varchar(50), -- 商品創(chuàng)建時間  modifytime varchar(50), -- 商品修改時間 cdat varchar(10)   -- 模擬hive分區(qū) )default character set = 'utf8'; -- dw創(chuàng)建商品表 create table if not exists `zw`.`dw_t_product2`( goods_id varchar(50), -- 商品編號  goods_status varchar(50), -- 商品狀態(tài)  createtime varchar(50), -- 商品創(chuàng)建時間  modifytime varchar(50), -- 商品修改時間  dw_start_date varchar(12), --  生效日期  dw_end_date varchar(12), -- 失效時間  cdat varchar(10)  -- 模擬hive分區(qū) )default character set = 'utf8';

全量導(dǎo)入2019年12月20日數(shù)據(jù)

1.原始數(shù)據(jù)層導(dǎo)入12月20日數(shù)據(jù)(4條數(shù)據(jù))

insert into `zw`.`t_product_2`(goods_id, goods_status, createtime, modifytime) values ('001', '待審核', '2019-12-18', '2019-12-20'), ('002', '待售', '2019-12-19', '2019-12-20'), ('003', '在售', '2019-12-20', '2019-12-20'), ('004', '已刪除', '2019-12-15', '2019-12-20');

2.將數(shù)據(jù)導(dǎo)入到數(shù)倉中的ods層

insert into zw.ods_t_product2 select *,'20191220' from zw.t_product_2 where modifytime >='2019-12-20'

3.將數(shù)據(jù)從ods層導(dǎo)入到dw層

insert into zw.dw_t_product2 select goods_id, goods_status, createtime, modifytime, modifytime,'9999-12-31', cdat from zw.ods_t_product2 where cdat='20191220'

增量導(dǎo)入2019年12月21日數(shù)據(jù)

1.原始數(shù)據(jù)層導(dǎo)入12月21日數(shù)據(jù)(6條數(shù)據(jù))

UPDATE `zw`.`t_product_2` SET goods_status = '待售', modifytime = '2019-12-21' WHERE goods_id = '001'; INSERT INTO `zw`.`t_product_2`(goods_id, goods_status, createtime, modifytime) VALUES ('005', '待審核', '2019-12-21', '2019-12-21'), ('006', '待審核', '2019-12-21', '2019-12-21');

2.原始數(shù)據(jù)層同步到ods層

insert into zw.ods_t_product2 select *,'20191221' from zw.t_product_2 where modifytime >='2019-12-21';

3.編寫ods層到dw層重新計算 dw_end_date

注意：我這里直接將結(jié)果的SQL語句放在這里語句 因為需要將覆蓋寫入到數(shù)據(jù)庫中我這里就沒有寫了，但是不影響我們結(jié)果。12月22 號的操作流程跟21  一樣我就里就不寫了

select t1.goods_id, t1.goods_status, t1.createtime, t1.modifytime,        t1.dw_start_date,        case when (t2.goods_id is not null and t1.dw_end_date>'2019-12-21') then '2019-12-21'else t1.dw__date end as end ,        t1.cdat from zw.dw_t_product2 t1 left join (select * from zw.ods_t_product2 where cdat='20191221')t2 on t1.goods_id=t2.goods_id union select goods_id, goods_status, createtime, modifytime, modifytime,'9999-12-31', cdat from zw.ods_t_product2 where cdat='20191221'

查詢結(jié)果

到此，關(guān)于“什么是拉鏈表”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！