處理數(shù)據(jù)時,遇到了需要將一行數(shù)據(jù)變成多行數(shù)據(jù)的情況
專注于為中小企業(yè)提供網(wǎng)站建設(shè)、成都網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)庫爾勒免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了上1000+企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
如下圖數(shù)據(jù)
需要將數(shù)據(jù)處理成
在這里我們需要用到mysql函數(shù)SUBSTRING_INDEX和mysql表mysql.help_topic
substring_index(str,delim,count)
通過如下語句,則可實(shí)現(xiàn)一行轉(zhuǎn)多行,最終實(shí)現(xiàn)上圖的效果
列轉(zhuǎn)行:利用max(case when then)
`max``---聚合函數(shù) 取最大值`
`(`case course when '語文' then score else 0 end ) ---判斷`
` as 語文``---別名作為列名`
有,一張表弄出新的兩行,用case when then 拼出來,兩張表外聯(lián)在加casewhen then
select typeId,value1 from 表
union
select typeId,value2 from 表
union
select typeId,value3 from 表
union
select typeId,value4 from 表
........
union
select typeId,value10 from 表
注意,以上共19行(10行select、9行union)是一個語句,中間沒有分號,這個語句的結(jié)果就是你想要的結(jié)果。
select MIN(id) as ID, name, sex, sum(case when num=2 then 2 end) as num2,sum(case when num=3 then 3 end) as num3,sum(case when num=4 then 4 end) as num4,sum(case when num=5 then 5 end) as num5from 表名 group by name,sex
import_table(importTable) 的延申功能:可定制化行輸入。
import_table(importTable) 我們之前有介紹過,是一款并行導(dǎo)入各種格式文本的工具,封裝了 MySQL 語句?load data local infile。
比如說要導(dǎo)入一個以 TAB 為分隔符的文本數(shù)據(jù)文件:/tmp/sample_ytt.txt?到表:ytt_new.t1,可以執(zhí)行下面語句:
上面結(jié)果是?load data infile?語句的導(dǎo)入結(jié)果。如果改用 import_table 方法來做同樣的事情,基于 Python 語法,使用方法如下:
那接下來看另外一個需求:在導(dǎo)入文本文件時對每行做預(yù)處理(例如在導(dǎo)入數(shù)據(jù)之前更改列 r2 的值為 mod(r1,10),列 r5 的值為 abs(r4-46) ),這樣可以減少導(dǎo)入后再次處理的時間開銷。
這個需求用?load data infile?語句非常容易實(shí)現(xiàn):(導(dǎo)入時更改列 r2 和 r5 的數(shù)據(jù),類似 UPDATE 語法)
那如果要用 util.import_table(importTable) 來實(shí)現(xiàn)上面的需求,在 MySQL 8.0.22 之前是沒辦法的。
隨著 MySQL 8.0.22 的發(fā)布,MySQL 對 import_table 方法做了些擴(kuò)充功能,其中增加了一個選項(xiàng) “decodeColumns” 可以實(shí)現(xiàn)字段的預(yù)先輸入定制化功能,并且還可以更加豐富。
接下來用 import_table 來實(shí)現(xiàn)上面的需求,定制化字段 r2 和 r5:
以上 Options 選項(xiàng),見下圖:
我來具體解釋下上圖的含義:藍(lán)色字體 columns 對應(yīng)的數(shù)組分別指定數(shù)據(jù)文件中的每行字段,也就是默認(rèn)的 TAB 分隔符所分割的每列值,1 和 2 代表占位符,1 代表數(shù)據(jù)文件中每行的第一個列,2 代表數(shù)據(jù)文件中每行的第四列,decodeColumns 字典分別對需要預(yù)先輸入的字段做處理。比如 r1 字段保留為變量 @1,r2 字段對應(yīng) mod(r1,10) 等。
如果還是不太理解變換規(guī)則,可以臨時打開 general log, 上面 import_table(importTable)對應(yīng)的 MySQL 日志為:
以上日志寫的很清楚,內(nèi)部轉(zhuǎn)換為最基本的load data infile語法。
那這里我簡單解讀了下 MySQL 8.0.22 對 MySQL Shell 的一項(xiàng)定制化輸入文本文件的新特性,更多的新特性可以繼續(xù)關(guān)注。