mysql如何實(shí)現(xiàn)高效分頁(yè)

先看一下分頁(yè)的基本原理（我拿的是CSDN那個(gè)百萬(wàn)級(jí)數(shù)據(jù)庫(kù)來(lái)測(cè)試?。篠ELECT * FROM `csdn` ORDER BY id DESC LIMIT 100000,2000;

成都創(chuàng)新互聯(lián)專(zhuān)業(yè)IDC數(shù)據(jù)服務(wù)器托管提供商，專(zhuān)業(yè)提供成都服務(wù)器托管，服務(wù)器租用，資陽(yáng)主機(jī)托管，資陽(yáng)主機(jī)托管，成都多線服務(wù)器托管等服務(wù)器托管服務(wù)。

耗時(shí)： 0.813ms分析：對(duì)上面的mysql語(yǔ)句說(shuō)明：limit 100000,2000的意思掃描滿足條件的102000行，扔掉前面的100000行，返回最后的2000行。問(wèn)題就在這里，如果是limit 100000,20000，需要掃描120000行，在一個(gè)高并發(fā)的應(yīng)用里，每次查詢需要掃描超過(guò)100000行，性能肯定大打折扣。在《efficient pagination using mysql》中提出的clue方式。利用clue方法，給翻頁(yè)提供一些線索，比如還是SELECT * FROM `csdn` order by id desc，按id降序分頁(yè)，每頁(yè)2000條，當(dāng)前是第50頁(yè)，當(dāng)前頁(yè)條目id最大的是102000，最小的是100000。如果我們只提供上一頁(yè)、下一頁(yè)這樣的跳轉(zhuǎn)（不提供到第N頁(yè)的跳轉(zhuǎn)）。那么在處理上一頁(yè)的時(shí)候SQL語(yǔ)句可以是：

SELECT * FROM `csdn` WHERE id=102000 ORDER BY id DESC LIMIT 2000; #上一頁(yè)

耗時(shí)：0.015ms處理下一頁(yè)的時(shí)候SQL語(yǔ)句可以是：

耗時(shí)：0.015ms這樣，不管翻多少頁(yè)，每次查詢只掃描20行。效率大大提高了！但是，這樣分頁(yè)的缺點(diǎn)是只能提供上一頁(yè)、下一頁(yè)的鏈接形式。

mysql如何實(shí)現(xiàn)分頁(yè)

Mysql的分頁(yè)關(guān)鍵點(diǎn)在查詢時(shí)的 limit $iStart,$iEnd;//起初值與總長(zhǎng)度

舉例：selece * from myTable1 order by id desc limit 0,10;

從0開(kāi)始取前10條數(shù)據(jù)，取第二頁(yè)的內(nèi)容時(shí)，limit 10,10;即可

如有疑問(wèn)去博客加好友，不清楚的再問(wèn)我，有時(shí)間我再寫(xiě)幾篇這樣的文章

mysql如何做分頁(yè)查詢？

很多應(yīng)用往往只展示最新或最熱門(mén)的幾條記錄，但為了舊記錄仍然可訪問(wèn)，所以就需要個(gè)分頁(yè)的導(dǎo)航欄。然而，如何通過(guò)MySQL更好的實(shí)現(xiàn)分頁(yè)，始終是比較令人頭疼的問(wèn)題。雖然沒(méi)有拿來(lái)就能用的解決辦法，但了解數(shù)據(jù)庫(kù)的底層或多或少有助于優(yōu)化分頁(yè)查詢。

我們先從一個(gè)常用但性能很差的查詢來(lái)看一看。

SELECT *

FROM city

ORDER BY id DESC

LIMIT 0, 15

這個(gè)查詢耗時(shí)0.00sec。So，這個(gè)查詢有什么問(wèn)題呢？實(shí)際上，這個(gè)查詢語(yǔ)句和參數(shù)都沒(méi)有問(wèn)題，因?yàn)樗玫搅讼旅姹淼闹麈I，而且只讀取15條記錄。

CREATE TABLE city (

id int(10) unsigned NOT NULL AUTO_INCREMENT,

city varchar(128) NOT NULL,

PRIMARY KEY (id)

) ENGINE=InnoDB;

真正的問(wèn)題在于offset(分頁(yè)偏移量)很大的時(shí)候，像下面這樣：

SELECT *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

上面的查詢?cè)谟?M行記錄時(shí)需要0.22sec，通過(guò)EXPLAIN查看SQL的執(zhí)行計(jì)劃可以發(fā)現(xiàn)該SQL檢索了100015行，但最后只需要15行。大的分頁(yè)偏移量會(huì)增加使用的數(shù)據(jù)，MySQL會(huì)將大量最終不會(huì)使用的數(shù)據(jù)加載到內(nèi)存中。就算我們假設(shè)大部分網(wǎng)站的用戶只訪問(wèn)前幾頁(yè)數(shù)據(jù)，但少量的大的分頁(yè)偏移量的請(qǐng)求也會(huì)對(duì)整個(gè)系統(tǒng)造成危害。Facebook意識(shí)到了這一點(diǎn)，但Facebook并沒(méi)有為了每秒可以處理更多的請(qǐng)求而去優(yōu)化數(shù)據(jù)庫(kù)，而是將重心放在將請(qǐng)求響應(yīng)時(shí)間的方差變小。

對(duì)于分頁(yè)請(qǐng)求，還有一個(gè)信息也很重要，就是總共的記錄數(shù)。我們可以通過(guò)下面的查詢很容易的獲取總的記錄數(shù)。

SELECT COUNT(*)

FROM city;

然而，上面的SQL在采用InnoDB為存儲(chǔ)引擎時(shí)需要耗費(fèi)9.28sec。一個(gè)不正確的優(yōu)化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能夠在分頁(yè)查詢時(shí)事先準(zhǔn)備好符合條件的記錄數(shù)，隨后只要執(zhí)行一句 select FOUND_ROWS(); 就能獲得總記錄數(shù)。但是在大多數(shù)情況下，查詢語(yǔ)句簡(jiǎn)短并不意味著性能的提高。不幸的是，這種分頁(yè)查詢方式在許多主流框架中都有用到，下面看看這個(gè)語(yǔ)句的查詢性能。

SELECT SQL_CALC_FOUND_ROWS *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

這個(gè)語(yǔ)句耗時(shí)20.02sec，是上一個(gè)的兩倍。事實(shí)證明使用 SQL_CALC_FOUND_ROWS 做分頁(yè)是很糟糕的想法。

下面來(lái)看看到底如何優(yōu)化。文章分為兩部分，第一部分是如何獲取記錄的總數(shù)目，第二部分是獲取真正的記錄。

高效的計(jì)算行數(shù)

如果采用的引擎是MyISAM，可以直接執(zhí)行COUNT(*)去獲取行數(shù)即可。相似的，在堆表中也會(huì)將行數(shù)存儲(chǔ)到表的元信息中。但如果引擎是InnoDB情況就會(huì)復(fù)雜一些，因?yàn)镮nnoDB不保存表的具體行數(shù)。

我們可以將行數(shù)緩存起來(lái)，然后可以通過(guò)一個(gè)守護(hù)進(jìn)程定期更新或者用戶的某些操作導(dǎo)致緩存失效時(shí)，執(zhí)行下面的語(yǔ)句：

SELECT COUNT(*)

FROM city

USE INDEX(PRIMARY);

獲取記錄

下面進(jìn)入這篇文章最重要的部分，獲取分頁(yè)要展示的記錄。上面已經(jīng)說(shuō)過(guò)了，大的偏移量會(huì)影響性能，所以我們要重寫(xiě)查詢語(yǔ)句。為了演示，我們創(chuàng)建一個(gè)新的表“news”，按照時(shí)事性排序(最新發(fā)布的在最前面)，實(shí)現(xiàn)一個(gè)高性能的分頁(yè)。為了簡(jiǎn)單，我們就假設(shè)最新發(fā)布的新聞的Id也是最大的。

CREATE TABLE news(

id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,

title VARCHAR(128) NOT NULL

) ENGINE=InnoDB;

一個(gè)比較高效的方式是基于用戶展示的最后一個(gè)新聞Id。查詢下一頁(yè)的語(yǔ)句如下，需要傳入當(dāng)前頁(yè)面展示的最后一個(gè)Id。

SELECT *

FROM news WHERE id $last_id

ORDER BY id DESC

LIMIT $perpage

查詢上一頁(yè)的語(yǔ)句類(lèi)似，只不過(guò)需要傳入當(dāng)前頁(yè)的第一個(gè)Id，并且要逆序。

SELECT *

FROM news WHERE id $last_id

ORDER BY id ASC

LIMIT $perpage

上面的查詢方式適合實(shí)現(xiàn)簡(jiǎn)易的分頁(yè)，即不顯示具體的頁(yè)數(shù)導(dǎo)航，只顯示“上一頁(yè)”和“下一頁(yè)”，例如博客中頁(yè)腳顯示“上一頁(yè)”，“下一頁(yè)”的按鈕。但如果要實(shí)現(xiàn)真正的頁(yè)面導(dǎo)航還是很難的,下面看看另一種方式。

SELECT id

FROM (

SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt

FROM news

JOIN (SELECT @cnt:= 0)T

WHERE id $last_id

ORDER BY id DESC

LIMIT $perpage * $buttons

)C

WHERE cnt = 0;

通過(guò)上面的語(yǔ)句可以為每一個(gè)分頁(yè)的按鈕計(jì)算出一個(gè)offset對(duì)應(yīng)的id。這種方法還有一個(gè)好處。假設(shè)，網(wǎng)站上正在發(fā)布一片新的文章，那么所有文章的位置都會(huì)往后移一位，所以如果用戶在發(fā)布文章時(shí)換頁(yè)，那么他會(huì)看見(jiàn)一篇文章兩次。如果固定了每個(gè)按鈕的offset Id，這個(gè)問(wèn)題就迎刃而解了。Mark Callaghan發(fā)表過(guò)一篇類(lèi)似的博客，利用了組合索引和兩個(gè)位置變量，但是基本思想是一致的。

如果表中的記錄很少被刪除、修改，還可以將記錄對(duì)應(yīng)的頁(yè)碼存儲(chǔ)到表中，并在該列上創(chuàng)建合適的索引。采用這種方式，當(dāng)新增一個(gè)記錄的時(shí)候，需要執(zhí)行下面的查詢重新生成對(duì)應(yīng)的頁(yè)號(hào)。

SET p:= 0;

UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;

當(dāng)然，也可以新增一個(gè)專(zhuān)用于分頁(yè)的表，可以用個(gè)后臺(tái)程序來(lái)維護(hù)。

UPDATE pagination T

JOIN (

SELECT id, CEIL((p:= p + 1) / $perpage) page

FROM news

ORDER BY id

)C

ON C.id = T.id

SET T.page = C.page;

現(xiàn)在想獲取任意一頁(yè)的元素就很簡(jiǎn)單了：

SELECT *

FROM news A

JOIN pagination B ON A.id=B.ID

WHERE page=$offset;

還有另外一種與上種方法比較相似的方法來(lái)做分頁(yè)，這種方式比較試用于數(shù)據(jù)集相對(duì)小，并且沒(méi)有可用的索引的情況下—比如處理搜索結(jié)果時(shí)。在一個(gè)普通的服務(wù)器上執(zhí)行下面的查詢，當(dāng)有2M條記錄時(shí)，要耗費(fèi)2sec左右。這種方式比較簡(jiǎn)單，創(chuàng)建一個(gè)用來(lái)存儲(chǔ)所有Id的臨時(shí)表即可(這也是最耗費(fèi)性能的地方)。

CREATE TEMPORARY TABLE _tmp (KEY SORT(random))

SELECT id, FLOOR(RAND() * 0x8000000) random

FROM city;

ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;

接下來(lái)就可以向下面一樣執(zhí)行分頁(yè)查詢了。

SELECT *

FROM _tmp

WHERE OFFSET = $offset

ORDER BY OFFSET

LIMIT $perpage;

簡(jiǎn)單來(lái)說(shuō)，對(duì)于分頁(yè)的優(yōu)化就是。。。避免數(shù)據(jù)量大時(shí)掃描過(guò)多的記錄。

MySQL分頁(yè)的sql語(yǔ)言怎么寫(xiě)？

1、首先我們建立一個(gè)表表的數(shù)據(jù)，這個(gè)表里有25條數(shù)據(jù)，id從1到25。（下圖是部分截圖）

2、要分頁(yè)數(shù)據(jù)，首先我們假設(shè)一頁(yè)有10條數(shù)據(jù)，我們可以用mysql的 limit關(guān)鍵字來(lái)限定返回多少條數(shù)據(jù)。并且用order by來(lái)排序數(shù)據(jù)，這里用 id來(lái)排序。所以第一頁(yè)的sql可以如圖這樣寫(xiě)。

3、執(zhí)行后得到的數(shù)據(jù)如圖，就是 id從1到10的前10條數(shù)據(jù)，因?yàn)槲覀兪前磇d升序來(lái)排序的。

4、上面第一頁(yè)的sql是簡(jiǎn)化的寫(xiě)法，完整的寫(xiě)法如圖，得到的結(jié)果和上圖的一模一樣。代碼里 limit 0, 10 的意思是從第一條數(shù)據(jù)開(kāi)始，取10條數(shù)據(jù)。（注意的是第一條數(shù)據(jù)是從0開(kāi)始的）

5、那么第二頁(yè)的數(shù)據(jù)，關(guān)鍵是要知道是從哪一條數(shù)據(jù)開(kāi)始，可以用這個(gè)公式得到： (頁(yè)碼-1) ?* 每頁(yè)顯示多少條，即 （2-1) * 10 = 10, 所以sql語(yǔ)句如圖, limit 10, 10。

6、執(zhí)行后，結(jié)果正確，得到id從11到20的10條數(shù)據(jù)。

7、同理第三頁(yè)數(shù)據(jù)的sql如圖，br/就是 limit 20, 10。

8、查詢的結(jié)果如圖，因?yàn)檫@頁(yè)只剩下5條數(shù)據(jù)了，所以只顯示5條數(shù)據(jù)。如果你有更多頁(yè)的數(shù)據(jù)，后面的數(shù)據(jù)只需要按上面的公式，得到從哪行開(kāi)始，就可以寫(xiě)對(duì)應(yīng)的sql語(yǔ)句了。