很多應(yīng)用往往只展示最新或最熱門的幾條記錄，但為了舊記錄仍然可訪問，所以就需要個(gè)分頁的導(dǎo)航欄。然而，如何通過MySQL更好的實(shí)現(xiàn)分頁，始終是比較令人頭疼的問題。雖然沒有拿來就能用的解決辦法，但了解數(shù)據(jù)庫的底層或多或少有助于優(yōu)化分頁查詢。
專注于為中小企業(yè)提供網(wǎng)站建設(shè)、成都網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)鶴壁免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上千多家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
我們先從一個(gè)常用但性能很差的查詢來看一看。
SELECT *
FROM city
ORDER BY id DESC
LIMIT 0, 15
這個(gè)查詢耗時(shí)0.00sec。So，這個(gè)查詢有什么問題呢？實(shí)際上，這個(gè)查詢語句和參數(shù)都沒有問題，因?yàn)樗玫搅讼旅姹淼闹麈I，而且只讀取15條記錄。
CREATE TABLE city (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
city varchar(128) NOT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB;
真正的問題在于offset(分頁偏移量)很大的時(shí)候，像下面這樣：
SELECT *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
上面的查詢在有2M行記錄時(shí)需要0.22sec，通過EXPLAIN查看SQL的執(zhí)行計(jì)劃可以發(fā)現(xiàn)該SQL檢索了100015行，但最后只需要15行。大的分頁偏移量會增加使用的數(shù)據(jù)，MySQL會將大量最終不會使用的數(shù)據(jù)加載到內(nèi)存中。就算我們假設(shè)大部分網(wǎng)站的用戶只訪問前幾頁數(shù)據(jù)，但少量的大的分頁偏移量的請求也會對整個(gè)系統(tǒng)造成危害。Facebook意識到了這一點(diǎn)，但Facebook并沒有為了每秒可以處理更多的請求而去優(yōu)化數(shù)據(jù)庫，而是將重心放在將請求響應(yīng)時(shí)間的方差變小。
對于分頁請求，還有一個(gè)信息也很重要，就是總共的記錄數(shù)。我們可以通過下面的查詢很容易的獲取總的記錄數(shù)。
SELECT COUNT(*)
FROM city;
然而，上面的SQL在采用InnoDB為存儲引擎時(shí)需要耗費(fèi)9.28sec。一個(gè)不正確的優(yōu)化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能夠在分頁查詢時(shí)事先準(zhǔn)備好符合條件的記錄數(shù)，隨后只要執(zhí)行一句 select FOUND_ROWS(); 就能獲得總記錄數(shù)。但是在大多數(shù)情況下，查詢語句簡短并不意味著性能的提高。不幸的是，這種分頁查詢方式在許多主流框架中都有用到，下面看看這個(gè)語句的查詢性能。
SELECT SQL_CALC_FOUND_ROWS *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
這個(gè)語句耗時(shí)20.02sec，是上一個(gè)的兩倍。事實(shí)證明使用 SQL_CALC_FOUND_ROWS 做分頁是很糟糕的想法。
下面來看看到底如何優(yōu)化。文章分為兩部分，第一部分是如何獲取記錄的總數(shù)目，第二部分是獲取真正的記錄。
高效的計(jì)算行數(shù)
如果采用的引擎是MyISAM，可以直接執(zhí)行COUNT(*)去獲取行數(shù)即可。相似的，在堆表中也會將行數(shù)存儲到表的元信息中。但如果引擎是InnoDB情況就會復(fù)雜一些，因?yàn)镮nnoDB不保存表的具體行數(shù)。
我們可以將行數(shù)緩存起來，然后可以通過一個(gè)守護(hù)進(jìn)程定期更新或者用戶的某些操作導(dǎo)致緩存失效時(shí)，執(zhí)行下面的語句：
SELECT COUNT(*)
FROM city
USE INDEX(PRIMARY);
獲取記錄
下面進(jìn)入這篇文章最重要的部分，獲取分頁要展示的記錄。上面已經(jīng)說過了，大的偏移量會影響性能，所以我們要重寫查詢語句。為了演示，我們創(chuàng)建一個(gè)新的表“news”，按照時(shí)事性排序(最新發(fā)布的在最前面)，實(shí)現(xiàn)一個(gè)高性能的分頁。為了簡單，我們就假設(shè)最新發(fā)布的新聞的Id也是最大的。
CREATE TABLE news(
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
title VARCHAR(128) NOT NULL
) ENGINE=InnoDB;
一個(gè)比較高效的方式是基于用戶展示的最后一個(gè)新聞Id。查詢下一頁的語句如下，需要傳入當(dāng)前頁面展示的最后一個(gè)Id。
SELECT *
FROM news WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage
查詢上一頁的語句類似，只不過需要傳入當(dāng)前頁的第一個(gè)Id，并且要逆序。
SELECT *
FROM news WHERE id $last_id
ORDER BY id ASC
LIMIT $perpage
上面的查詢方式適合實(shí)現(xiàn)簡易的分頁，即不顯示具體的頁數(shù)導(dǎo)航，只顯示“上一頁”和“下一頁”，例如博客中頁腳顯示“上一頁”，“下一頁”的按鈕。但如果要實(shí)現(xiàn)真正的頁面導(dǎo)航還是很難的,下面看看另一種方式。
SELECT id
FROM (
SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt
FROM news
JOIN (SELECT @cnt:= 0)T
WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage * $buttons
)C
WHERE cnt = 0;
通過上面的語句可以為每一個(gè)分頁的按鈕計(jì)算出一個(gè)offset對應(yīng)的id。這種方法還有一個(gè)好處。假設(shè)，網(wǎng)站上正在發(fā)布一片新的文章，那么所有文章的位置都會往后移一位，所以如果用戶在發(fā)布文章時(shí)換頁，那么他會看見一篇文章兩次。如果固定了每個(gè)按鈕的offset Id，這個(gè)問題就迎刃而解了。Mark Callaghan發(fā)表過一篇類似的博客，利用了組合索引和兩個(gè)位置變量，但是基本思想是一致的。
如果表中的記錄很少被刪除、修改，還可以將記錄對應(yīng)的頁碼存儲到表中，并在該列上創(chuàng)建合適的索引。采用這種方式，當(dāng)新增一個(gè)記錄的時(shí)候，需要執(zhí)行下面的查詢重新生成對應(yīng)的頁號。
SET p:= 0;
UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;
當(dāng)然，也可以新增一個(gè)專用于分頁的表，可以用個(gè)后臺程序來維護(hù)。
UPDATE pagination T
JOIN (
SELECT id, CEIL((p:= p + 1) / $perpage) page
FROM news
ORDER BY id
)C
ON C.id = T.id
SET T.page = C.page;
現(xiàn)在想獲取任意一頁的元素就很簡單了：
SELECT *
FROM news A
JOIN pagination B ON A.id=B.ID
WHERE page=$offset;
還有另外一種與上種方法比較相似的方法來做分頁，這種方式比較試用于數(shù)據(jù)集相對小，并且沒有可用的索引的情況下—比如處理搜索結(jié)果時(shí)。在一個(gè)普通的服務(wù)器上執(zhí)行下面的查詢，當(dāng)有2M條記錄時(shí)，要耗費(fèi)2sec左右。這種方式比較簡單，創(chuàng)建一個(gè)用來存儲所有Id的臨時(shí)表即可(這也是最耗費(fèi)性能的地方)。
CREATE TEMPORARY TABLE _tmp (KEY SORT(random))
SELECT id, FLOOR(RAND() * 0x8000000) random
FROM city;
ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;
接下來就可以向下面一樣執(zhí)行分頁查詢了。
SELECT *
FROM _tmp
WHERE OFFSET = $offset
ORDER BY OFFSET
LIMIT $perpage;
簡單來說，對于分頁的優(yōu)化就是。。。避免數(shù)據(jù)量大時(shí)掃描過多的記錄。
記得我還在念大學(xué)的時(shí)候，一位教我們單片機(jī)的老師說了一句話："學(xué)習(xí)編程剛開始你就得照葫蘆畫瓢...",以前我在mysql中分頁都是用的 limit 100000,20這樣的方式，我相信你也是吧，但是要提高效率，讓分頁的代碼效率更高一些，更快一些,那我們又該怎么做呢?
第一部分：看一下分頁的基本原理：
第一部分：看一下分頁的基本原理：
mysql explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20
***************** 1. row **************
id: 1
select_type: SIMPLE
table: message
type: index
possible_keys: NULL
key: PRIMARY
key_len: 4
ref: NULL
rows: 10020
Extra:
1 row in set (0.00 sec) 對上面的mysql語句說明：limit 10000,20的意思掃描滿足條件的10020行，扔掉前面的10000行，返回最后的20行，問題就在這里，如果是limit 100000,100，需要掃描100100行，在一個(gè)高并發(fā)的應(yīng)用里，每次查詢需要掃描超過10W行，性能肯定大打折扣。文中還提到limit n性能是沒問題的，因?yàn)橹粧呙鑞行。
第二部分：根據(jù)雅虎的幾位工程師帶來了一篇Efficient Pagination Using MySQL的報(bào)告內(nèi)容擴(kuò)展：在文中提到一種clue的做法，給翻頁提供一些線索，比如還是SELECT * FROM message ORDER BY id DESC，按id降序分頁，每頁20條，當(dāng)前是第10頁，當(dāng)前頁條目id最大的是1020，最小的是1000，如果我們只提供上一頁、下一頁這樣的跳轉(zhuǎn)（不提供到第N頁的跳轉(zhuǎn)），那么在處理上一頁的時(shí)候SQL語句可以是：
完整請到：
先看一下分頁的基本原理（我拿的是CSDN那個(gè)百萬級數(shù)據(jù)庫來測試?。篠ELECT * FROM `csdn` ORDER BY id DESC LIMIT 100000,2000;
耗時(shí)： 0.813ms分析：對上面的mysql語句說明：limit 100000,2000的意思掃描滿足條件的102000行，扔掉前面的100000行，返回最后的2000行。問題就在這里，如果是limit 100000,20000，需要掃描120000行，在一個(gè)高并發(fā)的應(yīng)用里，每次查詢需要掃描超過100000行，性能肯定大打折扣。在《efficient pagination using mysql》中提出的clue方式。利用clue方法，給翻頁提供一些線索，比如還是SELECT * FROM `csdn` order by id desc，按id降序分頁，每頁2000條，當(dāng)前是第50頁，當(dāng)前頁條目id最大的是102000，最小的是100000。如果我們只提供上一頁、下一頁這樣的跳轉(zhuǎn)（不提供到第N頁的跳轉(zhuǎn)）。那么在處理上一頁的時(shí)候SQL語句可以是：
SELECT * FROM `csdn` WHERE id=102000 ORDER BY id DESC LIMIT 2000; #上一頁
耗時(shí)：0.015ms處理下一頁的時(shí)候SQL語句可以是：
耗時(shí)：0.015ms這樣，不管翻多少頁，每次查詢只掃描20行。效率大大提高了！但是，這樣分頁的缺點(diǎn)是只能提供上一頁、下一頁的鏈接形式。
可以根據(jù)下面操作進(jìn)行編寫。
1.#返回前5行 Mssql 2000分頁采用top關(guān)鍵字(20005以上版本也支持關(guān)鍵字Select top 10 * from t_order where id not in (select id from t_order where id5 )。
2.Oracle分頁采用rownum關(guān)鍵字(三層嵌套) SELECT * FROM( SELECT A.*,ROWNUM num FROM (SELECT * FROM t_order)A WHERE ROWNUM=15) WHERE num=5;--返回第5-15行數(shù)據(jù)。
3.采用row_number解析函數(shù)進(jìn)行分頁(效率更高) SELECT xx.* FROM --返回第5-15行數(shù)據(jù) 解析函數(shù)能用格式 函數(shù)over(pertion by 字段 order by 字段)。
4.Pertion 按照某個(gè)字段分區(qū) Order 按照勒個(gè)字段排序。
1、首先我們建立一個(gè)表表的數(shù)據(jù)，這個(gè)表里有25條數(shù)據(jù)，id從1到25。（下圖是部分截圖）
2、要分頁數(shù)據(jù)，首先我們假設(shè)一頁有10條數(shù)據(jù)，我們可以用mysql的 limit關(guān)鍵字來限定返回多少條數(shù)據(jù)。并且用order by來排序數(shù)據(jù)，這里用 id來排序。所以第一頁的sql可以如圖這樣寫。
3、執(zhí)行后得到的數(shù)據(jù)如圖，就是 id從1到10的前10條數(shù)據(jù)，因?yàn)槲覀兪前磇d升序來排序的。
4、上面第一頁的sql是簡化的寫法，完整的寫法如圖，得到的結(jié)果和上圖的一模一樣。代碼里 limit 0, 10 的意思是從第一條數(shù)據(jù)開始，取10條數(shù)據(jù)。（注意的是第一條數(shù)據(jù)是從0開始的）
5、那么第二頁的數(shù)據(jù)，關(guān)鍵是要知道是從哪一條數(shù)據(jù)開始，可以用這個(gè)公式得到： (頁碼-1) ?* 每頁顯示多少條，即 （2-1) * 10 = 10, 所以sql語句如圖, limit 10, 10。
6、執(zhí)行后，結(jié)果正確，得到id從11到20的10條數(shù)據(jù)。
7、同理第三頁數(shù)據(jù)的sql如圖，br/就是 limit 20, 10。
8、查詢的結(jié)果如圖，因?yàn)檫@頁只剩下5條數(shù)據(jù)了，所以只顯示5條數(shù)據(jù)。如果你有更多頁的數(shù)據(jù)，后面的數(shù)據(jù)只需要按上面的公式，得到從哪行開始，就可以寫對應(yīng)的sql語句了。
每次取的數(shù)據(jù)集是有總條數(shù)的
數(shù)據(jù)集 有當(dāng)前頁,總頁數(shù)的屬性
然后就可以分頁啦
rs.pagecount
rs.absolutepage
重慶分公司
重慶分公司
