import_table(importTable) 的延申功能:可定制化行輸入。
讓客戶滿意是我們工作的目標(biāo),不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶,將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴,公司提供的服務(wù)項(xiàng)目有:域名注冊(cè)、雅安服務(wù)器托管、營(yíng)銷軟件、網(wǎng)站建設(shè)、雁峰網(wǎng)站維護(hù)、網(wǎng)站推廣。
import_table(importTable) 我們之前有介紹過,是一款并行導(dǎo)入各種格式文本的工具,封裝了 MySQL 語(yǔ)句?load data local infile。
比如說要導(dǎo)入一個(gè)以 TAB 為分隔符的文本數(shù)據(jù)文件:/tmp/sample_ytt.txt?到表:ytt_new.t1,可以執(zhí)行下面語(yǔ)句:
上面結(jié)果是?load data infile?語(yǔ)句的導(dǎo)入結(jié)果。如果改用 import_table 方法來做同樣的事情,基于 Python 語(yǔ)法,使用方法如下:
那接下來看另外一個(gè)需求:在導(dǎo)入文本文件時(shí)對(duì)每行做預(yù)處理(例如在導(dǎo)入數(shù)據(jù)之前更改列 r2 的值為 mod(r1,10),列 r5 的值為 abs(r4-46) ),這樣可以減少導(dǎo)入后再次處理的時(shí)間開銷。
這個(gè)需求用?load data infile?語(yǔ)句非常容易實(shí)現(xiàn):(導(dǎo)入時(shí)更改列 r2 和 r5 的數(shù)據(jù),類似 UPDATE 語(yǔ)法)
那如果要用 util.import_table(importTable) 來實(shí)現(xiàn)上面的需求,在 MySQL 8.0.22 之前是沒辦法的。
隨著 MySQL 8.0.22 的發(fā)布,MySQL 對(duì) import_table 方法做了些擴(kuò)充功能,其中增加了一個(gè)選項(xiàng) “decodeColumns” 可以實(shí)現(xiàn)字段的預(yù)先輸入定制化功能,并且還可以更加豐富。
接下來用 import_table 來實(shí)現(xiàn)上面的需求,定制化字段 r2 和 r5:
以上 Options 選項(xiàng),見下圖:
我來具體解釋下上圖的含義:藍(lán)色字體 columns 對(duì)應(yīng)的數(shù)組分別指定數(shù)據(jù)文件中的每行字段,也就是默認(rèn)的 TAB 分隔符所分割的每列值,1 和 2 代表占位符,1 代表數(shù)據(jù)文件中每行的第一個(gè)列,2 代表數(shù)據(jù)文件中每行的第四列,decodeColumns 字典分別對(duì)需要預(yù)先輸入的字段做處理。比如 r1 字段保留為變量 @1,r2 字段對(duì)應(yīng) mod(r1,10) 等。
如果還是不太理解變換規(guī)則,可以臨時(shí)打開 general log, 上面 import_table(importTable)對(duì)應(yīng)的 MySQL 日志為:
以上日志寫的很清楚,內(nèi)部轉(zhuǎn)換為最基本的load data infile語(yǔ)法。
那這里我簡(jiǎn)單解讀了下 MySQL 8.0.22 對(duì) MySQL Shell 的一項(xiàng)定制化輸入文本文件的新特性,更多的新特性可以繼續(xù)關(guān)注。
mysql查詢含逗號(hào)的數(shù)據(jù),將逗號(hào)拆分為多行展示:
原始數(shù)據(jù)如下:
現(xiàn)在因?yàn)樾碌男枨螅枰獙⑦@些數(shù)據(jù)轉(zhuǎn)化為如下形式:
假設(shè)我們需要處理的表結(jié)構(gòu)為:
使用如下sql語(yǔ)句即可實(shí)現(xiàn)需求:
查詢的主要思路為,原表與一個(gè)包含連續(xù)自增長(zhǎng)字段的表進(jìn)行join,得到字符串分隔后的索引值,其中 length( a.name ) - length( REPLACE ( a.name, ',', '' ) ) + 1 語(yǔ)句獲得字符串逗號(hào)分隔之后得到的數(shù)據(jù)長(zhǎng)度,兩表關(guān)聯(lián)之后,會(huì)得到相應(yīng)行數(shù)的數(shù)據(jù)。比如,
在join之后會(huì)得到:
之后對(duì)查詢中的結(jié)果,使用substring_index方法進(jìn)行截取,然后得到我們自己想要的數(shù)據(jù)。
列轉(zhuǎn)行:利用max(case when then)
`max``---聚合函數(shù) 取最大值`
`(`case course when '語(yǔ)文' then score else 0 end ) ---判斷`
` as 語(yǔ)文``---別名作為列名`