如何高效的在MySQL百萬級數(shù)據(jù)量級下遷移到redis，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營銷推廣、網(wǎng)站重做改版、蛟河網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5、商城系統(tǒng)網(wǎng)站開發(fā)、集團公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為蛟河等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

redis協(xié)議學(xué)習(xí)

協(xié)議的格式為：

*<參數(shù)數(shù)量>  \r
$<參數(shù) 1 的字節(jié)數(shù)量>  \r
<參數(shù) 1 的數(shù)據(jù)> \r
...
$<參數(shù) N 的字節(jié)數(shù)量> \r
<參數(shù) N 的數(shù)據(jù)> \r\n

比如：插入一條hash類型的數(shù)據(jù)。

HSET id book1 book_description1

根據(jù)Redis協(xié)議，總共有4個部分，所以開頭為*4，其余內(nèi)容解釋如下：

內(nèi)容長度協(xié)議命令HSET4$4id2$2book15$5book_description117$17

注意一下：HSET命令本身也作為協(xié)議的其中一個參數(shù)來發(fā)送。

構(gòu)造出來的協(xié)議數(shù)據(jù)結(jié)構(gòu)：

*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r

格式化一下：

*4\r
$4\r
HSET\r
$2\r
idvvvv\r
$5\r
book1\r
$17\r
book_description1\r\n

RESP協(xié)議 bulk

Redis客戶機使用一種稱為RESP (Redis序列化協(xié)議)的協(xié)議與Redis服務(wù)器通信。

redis-cli pipe模式需要和nc命令一樣快，并且解決了nc命令不知道何時命令結(jié)束的問題。

在發(fā)送數(shù)據(jù)的同時，它同樣會去讀取響應(yīng)，嘗試去解析。

一旦輸入流中沒有讀取到更多的數(shù)據(jù)之后，它就會發(fā)送一個特殊的20比特的echo命令，標(biāo)識最后一個命令已經(jīng)發(fā)送完畢如果在響應(yīng)結(jié)果中匹配到這個相同數(shù)據(jù)后，說明本次批量發(fā)送是成功的。

使用這個技巧，我們不需要解析發(fā)送給服務(wù)器的協(xié)議來了解我們發(fā)送了多少命令，只需要解析應(yīng)答即可。

在解析應(yīng)答時，redis會對解析的應(yīng)答進行一個計數(shù)，在最后能夠告訴用戶大量插入會話向服務(wù)器傳輸?shù)拿畹臄?shù)量。也就是上面我們使用pipe模式實際操作的響應(yīng)結(jié)果。

將輸入數(shù)據(jù)源換成mysql

上面的例子中，我們以一個txt文本為輸入數(shù)據(jù)源，使用了pipe模式導(dǎo)入數(shù)據(jù)。

基于上述協(xié)議的學(xué)習(xí)和理解，我們只需要將mysql中的數(shù)據(jù)按照既定的協(xié)議通過pipe模式導(dǎo)入Redis即可。

實際案例--從Mysql導(dǎo)入百萬級數(shù)據(jù)到Redis

首先造數(shù)據(jù)

由于環(huán)境限制，所以這里沒有用真實數(shù)據(jù)來實現(xiàn)導(dǎo)入，那么我們就先使用一個存儲過程來造一百萬條數(shù)據(jù)把。使用存儲過程如下：

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

       DECLARE i INT DEFAULT 1;
       WHILE i<= 1000000
           DO
           INSERT INTO t_book(id,number,NAME,descrition)
           VALUES (i, CONCAT("00000",i) , CONCAT('book',i)
           , CONCAT('book_description',i));    
           SET i=i+1;
       END WHILE ;
       COMMIT;
   END$$

DELIMITER ;

調(diào)用存儲過程：

CALL test_insert();

查看表數(shù)據(jù)：

按協(xié)議構(gòu)造查詢語句

按照上述redis協(xié)議，我們使用如下sql來構(gòu)造協(xié)議數(shù)據(jù)

SELECT
 CONCAT(
   "*4\r\n",
   "$",
   LENGTH(redis_cmd),
   "\r\n",
   redis_cmd,
   "\r\n",
   "$",
   LENGTH(redis_key),
   "\r\n",
   redis_key,
   "\r\n",
   "$",
   LENGTH(hkey),
   "\r\n",
   hkey,
   "\r\n",
   "$",
   LENGTH(hval),
   "\r\n",
   hval,
   "\r"
 )
FROM
 (SELECT
   "HSET" AS redis_cmd,
   id AS redis_key,
   NAME AS hkey,
   descrition AS hval
 FROM
   cb_mon.t_book
 ) AS t limit 1000000 

并將內(nèi)容保存至redis.sql 文件中。

編寫腳本使用pipe模式導(dǎo)入redis

編寫shell腳本。由于我在主機上是通過docker安裝的redis和mysql，以下腳本供參考：

#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`

docker exec -i 899fe01d4dbc mysql --default-character-set=utf8   

--skip-column-names --raw < ./redis.sql
| docker exec -i 4c90ef506acd redis-cli --pipe

endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);

echo "腳本執(zhí)行耗時： "$((end_seconds-start_seconds))"s"

執(zhí)行截圖：

可以看到百萬級的數(shù)據(jù)導(dǎo)入redis，只花費了7秒，效率非常高。

注意事項

如果mysql表特別大，可以考慮分批導(dǎo)入，或者將表拆分，否則在導(dǎo)入過程中可能會發(fā)生

lost connection to mysql server during query

由于max_allowed_packed和超時時間限制，查詢數(shù)據(jù)的過程中，可能會造成連接斷開，所以在數(shù)據(jù)表的數(shù)據(jù)量特別大的時候，需要分頁或者將表拆分導(dǎo)入。

小結(jié)

1. redis單線程執(zhí)行命令，避免了線程切換所消耗的時間，但是在超大數(shù)據(jù)量級下，其發(fā)送、響應(yīng)接收的時延不可忽視。

2. 網(wǎng)絡(luò)nc命令的應(yīng)用場景，及在數(shù)據(jù)導(dǎo)入時存在的缺點。

3. redis RESP協(xié)議的理解和應(yīng)用。

4. 百萬量級Mysql數(shù)據(jù)的Redis快速導(dǎo)入案例。

看完上述內(nèi)容，你們掌握如何高效的在Mysql百萬級數(shù)據(jù)量級下遷移到Redis的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！