在 Web 應(yīng)用程序中跨大型數(shù)據(jù)集分頁(yè)記錄似乎是一個(gè)簡(jiǎn)單的問(wèn)題,但實(shí)際上很難擴(kuò)展。兩種主要的分頁(yè)策略是偏移/限制和游標(biāo)。
創(chuàng)新互聯(lián)建站專(zhuān)業(yè)成都做網(wǎng)站、成都網(wǎng)站制作,集網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作于一體,網(wǎng)站seo、網(wǎng)站優(yōu)化、網(wǎng)站營(yíng)銷(xiāo)、軟文推廣等專(zhuān)業(yè)人才根據(jù)搜索規(guī)律編程設(shè)計(jì),讓網(wǎng)站在運(yùn)行后,在搜索中有好的表現(xiàn),專(zhuān)業(yè)設(shè)計(jì)制作為您帶來(lái)效益的網(wǎng)站!讓網(wǎng)站建設(shè)為您創(chuàng)造效益。
我們將首先看一下這兩種方法,然后稍作修改,可以使偏移/限制非常高效。
偏移/限制分頁(yè)
偏移/限制方法是迄今為止最常見(jiàn)的方法,它通過(guò)跳過(guò)一定數(shù)量的記錄(頁(yè))并將結(jié)果限制為一頁(yè)來(lái)工作。
例如,假設(shè)您的應(yīng)用程序配置為每頁(yè)顯示 15 條記錄。您的 SQL 將如下所示:
這是最常見(jiàn)的,因?yàn)樗浅:?jiǎn)單,易于推理,并且?guī)缀趺總€(gè)框架都支持它。
除了易于實(shí)現(xiàn)之外,它還具有頁(yè)面可直接尋址的優(yōu)點(diǎn)。例如,如果您想直接導(dǎo)航到第 20 頁(yè),您可以這樣做,因?yàn)樵撈屏亢苋菀子?jì)算。
但是有一個(gè)主要的缺點(diǎn),它潛伏在數(shù)據(jù)庫(kù)處理偏移量的方式中。偏移量告訴數(shù)據(jù)庫(kù)放棄從查詢中返回的前N個(gè)結(jié)果。不過(guò)數(shù)據(jù)庫(kù)仍然要從磁盤(pán)上獲取這些行。
如果你丟棄的是100條記錄,這并不重要,但如果你丟棄的是100,000條記錄,數(shù)據(jù)庫(kù)就會(huì)為了丟棄這些結(jié)果而做大量的工作。
在實(shí)踐中,這意味著第一個(gè)頁(yè)面會(huì)快速加載,之后的每一個(gè)頁(yè)面都會(huì)變得越來(lái)越慢,直到你達(dá)到一個(gè)點(diǎn),網(wǎng)絡(luò)請(qǐng)求可能會(huì)直接超時(shí)。
基于游標(biāo)的分頁(yè)
基于游標(biāo)的分頁(yè)彌補(bǔ)了偏移/限制的一些不足,同時(shí)引入了一些自己的不足。
基于游標(biāo)的分頁(yè)是通過(guò)存儲(chǔ)一些關(guān)于最后呈現(xiàn)給用戶的記錄的狀態(tài),然后根據(jù)這個(gè)狀態(tài)來(lái)進(jìn)行下一次查詢。
因此,它不是按順序獲取所有的記錄并丟棄前N條,而是只獲取最后一個(gè)位置N之后的記錄。
如果按ID排序,SQL可能看起來(lái)像這樣。
你可能已經(jīng)看到了其中的好處。因?yàn)槲覀冎郎洗蜗蛴脩粽故镜腎D,我們知道下一個(gè)頁(yè)面將以一個(gè)更高的ID開(kāi)始。我們甚至不需要檢查ID較低的行,因?yàn)槲覀儼俜种倏隙ǖ刂滥切┬胁恍枰伙@示。
在上面的例子中,我特別說(shuō)明了ID可能不是連續(xù)的,也就是說(shuō),可能有缺失的記錄。這使得我們無(wú)法計(jì)算出哪些記錄會(huì)出現(xiàn)在某一頁(yè)面上,你必須跟蹤之前那一頁(yè)面上的最后一條記錄是什么。
與偏移/限制分頁(yè)不同,使用游標(biāo)分頁(yè)時(shí),頁(yè)面不能直接尋址,你只能導(dǎo)航到 "下一頁(yè) "或 "上一頁(yè)"。
不過(guò)光標(biāo)分頁(yè)的好處是在任何數(shù)量的頁(yè)面上都很迅速。它也很適合無(wú)限滾動(dòng),在這種情況下,頁(yè)面首先不需要可以直接尋址。
Laravel文檔中有一些關(guān)于偏移量和游標(biāo)之間的權(quán)衡的好的背景。
cursor -vs-offset-pagination
考慮到所有這些,讓我們來(lái)看看一個(gè)偏移/限制優(yōu)化,可以使它的性能足以在成千上萬(wàn)的頁(yè)面上使用。
使用遞延join的Offset/Limit
遞延連接(deferred join )是一種技術(shù),它將對(duì)要求的列的訪問(wèn)推遲到應(yīng)用了偏移量和限制之后。
使用這種技術(shù),我們創(chuàng)建一個(gè)內(nèi)部查詢,可以用特定的索引進(jìn)行優(yōu)化,以獲得最大的速度,然后將結(jié)果連接到同一個(gè)表,以獲取完整的行。
它看起來(lái)像這樣:
這種方法的好處可以根據(jù)你的數(shù)據(jù)集有很大的不同,但是這種方法允許數(shù)據(jù)庫(kù)盡可能少地檢查數(shù)據(jù),以滿足用戶的意圖。
查詢中 "昂貴的 "select *部分只在與內(nèi)部查詢相匹配的15條記錄上運(yùn)行。所有數(shù)據(jù)的Select都被推遲了,因此被稱(chēng)為推遲join。
這種方法不太可能比傳統(tǒng)的偏移/限制性能差,盡管它是可能的,所以一定要在你的數(shù)據(jù)上進(jìn)行測(cè)試!
Laravel實(shí)現(xiàn)
我們?nèi)绾伟堰@一點(diǎn)帶到我們最喜歡的網(wǎng)絡(luò)框架,如Laravel和Rails?
讓我們具體看看Laravel,因?yàn)槲也恢繰ails。
感謝Laravel的macroable特性,我們可以擴(kuò)展Eloquent Query Builder來(lái)添加一個(gè)新的方法,叫做deferredPaginate。為了保持一致性,我們將模仿常規(guī)分頁(yè)的簽名。
我們將嘗試做盡可能少的自定義工作,并將大部分工作留給 Laravel。
這是我們要做的:
這應(yīng)該為我們提供 LaravelLengthAwarePaginator 和延遲連接的所有好處!
一個(gè)Github倉(cāng)庫(kù)
遞延Join和覆蓋索引
還沒(méi)有完成...
使用遞延Join的主要好處是減少了數(shù)據(jù)庫(kù)必須檢索然后丟棄的數(shù)據(jù)量。我們可以通過(guò)幫助數(shù)據(jù)庫(kù)獲得它需要的數(shù)據(jù)而更進(jìn)一步,而無(wú)需獲取底層行。
這樣做的方法稱(chēng)為“覆蓋索引covering index”,它是確??焖倨?限制分頁(yè)的最終解決方案。
覆蓋索引是一個(gè)索引,在這個(gè)索引中,查詢的所有需要的字段都包含在索引本身中。當(dāng)一個(gè)查詢的所有部分都能被一個(gè)索引 "覆蓋 "時(shí),數(shù)據(jù)庫(kù)根本不需要讀取該行,它可以從索引中獲得它需要的一切。
請(qǐng)注意,覆蓋索引并不是以任何特殊方式創(chuàng)建的。它只是指一個(gè)索引滿足了一個(gè)查詢所需要的一切的情況。一個(gè)查詢上的覆蓋索引很可能不是另一個(gè)查詢上的覆蓋索引。
在接下來(lái)的幾個(gè)例子中,我們將使用這個(gè)基本的表,我把它填滿了~1000萬(wàn)條記錄。
讓我們看一個(gè)僅select索引列的簡(jiǎn)單查詢。在這種情況下,我們將從email表中進(jìn)行select contacts。
在這種情況下,數(shù)據(jù)庫(kù)根本不需要讀取基礎(chǔ)行。在MySQL中,我們可以通過(guò)運(yùn)行一個(gè)解釋并查看額外的列來(lái)驗(yàn)證這一點(diǎn):
extra: using index告訴我們,MySQL能夠只使用索引來(lái)滿足整個(gè)查詢,而不看基礎(chǔ)行。
如果嘗試select name from contacts limit 10, 我們將期望MySQL必須到該行去獲取數(shù)據(jù),因?yàn)槊謓ame沒(méi)有被索引。這正是發(fā)生的情況,由下面的解釋顯示。
extra不再顯示 using index,所以我們沒(méi)有使用覆蓋索引。
假設(shè)你每頁(yè)有15條記錄,你的用戶想查看第1001頁(yè),你的內(nèi)部查詢最終會(huì)是這樣的。
select id from contacts order by id limit 15 OFFSET 150000
explain結(jié)果顯示:
MySQL能夠單看索引來(lái)執(zhí)行這個(gè)查詢。它不會(huì)簡(jiǎn)單地跳過(guò)前15萬(wàn)行,在使用offset是沒(méi)有辦法的,但它不需要讀取15萬(wàn)行。(只有游標(biāo)分頁(yè)可以讓你跳過(guò)所有的行)。
即使使用覆蓋索引和延遲連接,當(dāng)你到達(dá)后面的頁(yè)面時(shí),結(jié)果也會(huì)變慢,盡管與傳統(tǒng)的偏移/限制相比,它應(yīng)該是最小的。使用這些方法,你可以輕易地深入到數(shù)千頁(yè)。
更好的覆蓋索引
這里的很多好處取決于擁有良好的覆蓋索引,所以讓我們稍微討論一下。一切都取決于您的數(shù)據(jù)和用戶的使用模式,但是您可以采取一些措施來(lái)確保查詢的最高命中率。
這將主要與 MySQL 對(duì)話,因?yàn)槟鞘俏矣薪?jīng)驗(yàn)的地方。其他數(shù)據(jù)庫(kù)中的情況可能會(huì)有所不同。
大多數(shù)開(kāi)發(fā)人員習(xí)慣于為單列添加索引,但沒(méi)有什么能阻止您向多列添加索引。事實(shí)上,如果您的目標(biāo)是為昂貴的分頁(yè)查詢創(chuàng)建覆蓋索引,您幾乎肯定需要一個(gè)多列索引。
當(dāng)你試圖為分頁(yè)優(yōu)化一個(gè)索引時(shí),一定要把按列排序放在最后。如果你的用戶要按update_at排序,這應(yīng)該是你復(fù)合索引中的最后一列。
看看下面這個(gè)包括三列的索引。
在MySQL中,復(fù)合索引是從左到右訪問(wèn)的,如果一個(gè)列缺失,或者在第一個(gè)范圍條件之后,MySQL會(huì)停止使用一個(gè)索引。
MySQL 將能夠在以下場(chǎng)景中使用該索引:
如果你跳過(guò)is_archived,MySQL將無(wú)法訪問(wèn)update_at,將不得不訴諸于沒(méi)有該索引的排序,或者根本不使用該索引,所以要確保你有相應(yīng)的計(jì)劃。
主鍵始終存在
在MySQL的InnoDB中,所有的索引都附加了主鍵。這意味著(email)的索引實(shí)際上是(email,id)的索引,當(dāng)涉及到覆蓋索引和延遲連接時(shí),這是相當(dāng)重要的。
查詢select email from contacts order by id完全被email上的一個(gè)索引所覆蓋,因?yàn)镮nnoDB將id附加到了該索引上。
使用我們上面的綜合例子,你可以看到這有什么好處。
因?yàn)閺?fù)合索引涵蓋了is_deleted, is_archived, updated_at, 和(通過(guò)InnoDB的功能)id,整個(gè)查詢可以僅由索引來(lái)滿足。
降序索引
大多數(shù)時(shí)候,用戶都在尋找 "最新的 "項(xiàng)目,即最近更新或創(chuàng)建的項(xiàng)目,這可以通過(guò)按update_at DESC排序來(lái)滿足。
如果你知道你的用戶主要是以降序的方式對(duì)他們的結(jié)果進(jìn)行排序,那么特別將你的索引設(shè)為降序索引可能是有意義的。
MySQL 8是第一個(gè)支持降序索引的MySQL版本。
如果你在explain的Extra部分看到向后索引掃描,你也許可以配置一個(gè)更好的索引。
前向索引掃描比后向掃描快~15%,所以你要按照你認(rèn)為你的用戶最常使用的順序添加索引,并為少數(shù)使用情況承擔(dān)懲罰。
太陽(yáng)底下無(wú)新事
這種使用偏移/限制分頁(yè)與延遲連接和覆蓋索引的方法并不是銀彈。
僅僅是遞遲連接就可以讓你的速度得到很好的提升,但是需要花一些額外的心思來(lái)設(shè)計(jì)正確的索引以獲得最大的好處。
有一種觀點(diǎn)認(rèn)為,遞延連接應(yīng)該是框架中默認(rèn)的偏移offset/限制limit方法,而任何時(shí)候覆蓋索引的出現(xiàn)都只是一種獎(jiǎng)勵(lì)。我還沒(méi)有在足夠多的生產(chǎn)環(huán)境中測(cè)試過(guò),所以還沒(méi)有強(qiáng)烈主張這樣做。
使用MySQL的遞延Join連接實(shí)現(xiàn)高效分頁(yè) - Aaron
JSP頁(yè)面,用來(lái)顯示數(shù)據(jù)! 如果數(shù)據(jù)有多條,分頁(yè)顯示,每頁(yè)顯示10條,多頁(yè); 好處: 利于頁(yè)面布局,且顯示的效率高!
1.分頁(yè)SQL語(yǔ)句 SELECT * FROM car LIMIT [(當(dāng)前頁(yè)-1)*每頁(yè)顯示的行數(shù)],[每頁(yè)顯示的行數(shù)]; ;
2.后臺(tái)處理: dao/service/servlet/JSP
一個(gè)不帶limit 一個(gè)帶limit。以php+mysql為例首先,連接數(shù)據(jù)庫(kù),寫(xiě)一條sql語(yǔ)句把你要查詢的信息總量查找出來(lái)sql = select count(*) from tb,$all_page ;設(shè)定每頁(yè)顯示條數(shù), $display 。然后,當(dāng)前頁(yè)為$page ;在寫(xiě)一句sql = select * from tb limit $dispaly*($page - 1),$display;最后,在頁(yè)面顯示分頁(yè)信息把當(dāng)前頁(yè)傳回給分頁(yè)處理頁(yè),一定要把相關(guān)的條件一起傳回去,get 方式傳值,否則查詢條件改變查詢信息就不正確。 網(wǎng)上有好多封裝好的分頁(yè)類(lèi)。我也有一個(gè)很好用的分頁(yè)類(lèi),如果請(qǐng)我吃肉就發(fā)給你一份哈。。\(^o^)/~ 追問(wèn): 這個(gè)$all_page用在哪兒,怎么將當(dāng)前頁(yè)傳回給分頁(yè)處理頁(yè)。顯示的時(shí)候那些“首頁(yè)”“上一頁(yè)”“下一頁(yè)”“末頁(yè)”是鏈接嗎、鏈到什么地方,還是別的什么 回答: $all_page是查詢總數(shù),總是頁(yè)數(shù)等于查詢總數(shù)除以每頁(yè)顯示的信息。$num_page = ceil($all_page/$display); 用get方式把當(dāng)前頁(yè)傳給分頁(yè)處理頁(yè),就是a href = "連接到本頁(yè)或著不寫(xiě)也就是當(dāng)前頁(yè)?page=當(dāng)前頁(yè)碼"/a標(biāo)簽 別的我也想不起來(lái),讓我自己寫(xiě)分頁(yè),我只會(huì)最簡(jiǎn)單的那種,一般我都是調(diào)用一個(gè)現(xiàn)成的分頁(yè)類(lèi)。只需傳個(gè)參數(shù)就Ok,連樣式都不用寫(xiě)的。。。
分類(lèi): 電腦/網(wǎng)絡(luò) 軟件
問(wèn)題描述:
我制作的是留言版,回復(fù)時(shí)得弄分頁(yè),但是不知道分頁(yè)怎么弄,網(wǎng)上的代碼沒(méi)有注釋?zhuān)部床欢?/p>
請(qǐng)各位大哥大姐們一定要幫幫我,后面加上注釋?zhuān)x謝!
注意:我不用JavaBean寫(xiě),就用前臺(tái)寫(xiě)。
解析:
作為參考:
%@ page contentType="text/;charset=8859_1" %
%
變量聲明
java.sql.Connection sqlCon; 數(shù)據(jù)庫(kù)連接對(duì)象
java.sql.Statement sqlStmt; SQL語(yǔ)句對(duì)象
java.sql.ResultSet sqlRst; 結(jié)果集對(duì)象
javang.String strCon; 數(shù)據(jù)庫(kù)連接字符串
javang.String strSQL; SQL語(yǔ)句
int intPageSize; 一頁(yè)顯示的記錄數(shù)
int intRowCount; 記錄總數(shù)
int intPageCount; 總頁(yè)數(shù)
int intPage; 待顯示頁(yè)碼
javang.String strPage;
int i;
設(shè)置一頁(yè)顯示的記錄數(shù)
intPageSize = 2;
取得待顯示頁(yè)碼
strPage = request.getParameter("page");
if(strPage==null){表明在QueryString中沒(méi)有page這一個(gè)參數(shù),此時(shí)顯示第一頁(yè)數(shù)據(jù)
intPage = 1;
}
else{將字符串轉(zhuǎn)換成整型
intPage = javang.Integer.parseInt(strPage);
if(intPage1) intPage = 1;
}
裝載JDBC驅(qū)動(dòng)程序
java.sql.DriverManager.registerDriver(new oracle.jdbc.driver.OracleDriver());
設(shè)置數(shù)據(jù)庫(kù)連接字符串
strCon = "jdbc:oracle:thin:@linux:1521:ora4cweb";
連接數(shù)據(jù)庫(kù)
sqlCon = java.sql.DriverManager.getConnection(strCon,"hzq","hzq");
創(chuàng)建一個(gè)可以滾動(dòng)的只讀的SQL語(yǔ)句對(duì)象
sqlStmt = sqlCon.createStatement(java.sql.ResultSet.TYPE_SCROLL_INSENSITIVE,java.sql.ResultSet.CONCUR_READ_ONLY);
準(zhǔn)備SQL語(yǔ)句
strSQL = "select name,age from test";
執(zhí)行SQL語(yǔ)句并獲取結(jié)果集
sqlRst = sqlStmt.executeQuery(strSQL);
獲取記錄總數(shù)
sqlRstst();
intRowCount = sqlRst.getRow();
記算總頁(yè)數(shù)
intPageCount = (intRowCount+intPageSize-1) / intPageSize;
調(diào)整待顯示的頁(yè)碼
if(intPageintPageCount) intPage = intPageCount;
%
head
meta -equiv="Content-Type" content="text/; charset=gb2312"
titleJSP數(shù)據(jù)庫(kù)操作例程 - 數(shù)據(jù)分頁(yè)顯示 - JDBC 2.0 - Oracle/title
/head
body
table border=1 cellspacing="0" cellpadding="0"
tr
th姓名/th
th年齡/th
/tr
%
if(intPageCount0){
將記錄指針定位到待顯示頁(yè)的第一條記錄上
sqlRst.absolute((intPage-1) * intPageSize + 1);
顯示數(shù)據(jù)
i = 0;
while(iintPageSize !sqlRst.isAfterLast()){
%
tr
td%=sqlRst.getString(1)%/td
td%=sqlRst.getString(2)%/td
/tr
%
sqlRst.next();
i++;
}
}
%
/table
第%=intPage%頁(yè) 共%=intPageCount%頁(yè) %if(intPageintPageCount){%a href="jdbc20-oracle.jsp?page=%=intPage+1%"下一頁(yè)/a%}% %if(intPage1){%a href="jdbc20-oracle.jsp?page=%=intPage-1%"上一頁(yè)/a%}%
/body
/
%
關(guān)閉結(jié)果集
sqlRst.close();
關(guān)閉SQL語(yǔ)句對(duì)象
sqlStmt.close();
關(guān)閉數(shù)據(jù)庫(kù)
sqlCon.close();
%
可以試試先!
祝你好運(yùn)!
----------------------------------
也可以用jsp+xml+來(lái)實(shí)現(xiàn),下面給出一個(gè)saucer(思?xì)w)給的xml+的分頁(yè)例子,不妨參考一下:
body
!--the following XML document is "stolen" from MSXML4 documentation--
xml id="xmldoc"
catalog
book id="bk101"
authorGambardella, Matthew/author
titleXML Developer's Guide/title
genreComputer/genre
price44.95/price
publish_date2000-10-01/publish_date
descriptionAn in-depth look at creating applications
with XML./description
/book
book id="bk102"
authorRalls, Kim/author
titleMidnight Rain/title
genreFantasy/genre
price5.95/price
publish_date2000-12-16/publish_date
descriptionA former architect battles corporate zombies,
an evil sorceress, and her own childhood to bee queen
of the world./description
/book
book id="bk103"
authorCorets, Eva/author
titleMaeve Ascendant/title
genreFantasy/genre
price5.95/price
publish_date2000-11-17/publish_date
descriptionAfter the collapse of a nanotechnology
society in England, the young survivors lay the
foundation for a new society./description
/book
book id="bk104"
authorCorets, Eva/author
titleOberon's Legacy/title
genreFantasy/genre
price5.95/price
publish_date2001-03-10/publish_date
descriptionIn post-apocalypse England, the mysterious
agent known only as Oberon helps to create a new life
for the inhabitants of London. Sequel to Maeve
Ascendant./description
/book
book id="bk105"
authorCorets, Eva/author
titleThe Sundered Grail/title
genreFantasy/genre
price5.95/price
publish_date2001-09-10/publish_date
descriptionThe o daughters of Maeve, half-sisters,
battle one another for control of England. Sequel to
Oberon's Legacy./description
/book
book id="bk106"
authorRandall, Cynthia/author
titleLover Birds/title
genreRomance/genre
price4.95/price
publish_date2000-09-02/publish_date
descriptionWhen Carla meets Paul at an ornithology
conference, tempers fly as feathers get ruffled./description
/book
book id="bk107"
authorThurman, Paula/author
titleSplish Splash/title
genreRomance/genre
price4.95/price
publish_date2000-11-02/publish_date
descriptionA deep sea diver finds true love enty
thousand leagues beneath the sea./description
/book
book id="bk108"
authorKnorr, Stefan/author
titleCreepy Crawlies/title
genreHorror/genre
price4.95/price
publish_date2000-12-06/publish_date
descriptionAn anthology of horror stories about roaches,
centipedes, scorpions and other insects./description
/book
/catalog
/xml
table id="mytable" datasrc="#xmldoc" border=1 DATAPAGESIZE="2"
theadthTitle/ththAuthor/ththGenre/ththPublish Date/ththPrice/th/thead
tbodytr
tdspan datafld="title"/span/td
tdspan datafld="author"/span/td
tdspan datafld="genre"/span/td
tdspan datafld="publish_date"/span/td
tdspan datafld="price"/span/td
/tr
/tbody
/table
input type=button value="previous page" onclick="mytable.previousPage()"
input type=button value="next page" onclick="mytable.nextPage()"
/body
/
------------------------------------
分頁(yè)顯示的模板程序
!--show_page.jsp--
%@ page import="javang.*" import="java.sql.*" import="java.util.*" contentType="text/;charset=GB2312"%
%@ page import="tax.*"%
jsp:useBean id="RegisterBean" class="tax.RegisterBean" scope="page"/
jsp:useBean id="itemlist" class="tax.itemlist" scope="page"/
%
int PageSize = 10;設(shè)置一頁(yè)顯示的記錄數(shù)
int PageNum = 1; 初始化頁(yè)碼=1
int PageNumCount = (136+PageSize-1) / PageSize;記算總頁(yè)數(shù)
計(jì)算要顯示的頁(yè)碼
String strPageNum = request.getParameter("page");取得href提交的頁(yè)碼
if(strPageNum==null){ 表明在QueryString中沒(méi)有page這一個(gè)參數(shù),此時(shí)顯示第一頁(yè)數(shù)據(jù)
PageNum = 1;
}
else{
PageNum = javang.Integer.parseInt(strPageNum);將字符串轉(zhuǎn)換成整型
if(PageNum1) PageNum = 1;
}
if(PageNumPageNumCount) PageNum = PageNumCount;調(diào)整待顯示的頁(yè)碼
%
head
meta -equiv="Content-Type" content="text/; charset=gb2312"
titleJSP例程 - 數(shù)據(jù)分頁(yè)顯示 -JDK1.2 /title
/head
body
%
if(PageNumCount0){
out.println(PageNum);顯示數(shù)據(jù),此處只簡(jiǎn)單的顯示頁(yè)數(shù)
}
/*需要顯示的數(shù)據(jù),在此處顯示
、、、
例如:
*/
顯示一個(gè)簡(jiǎn)單的表格
%
table border=1 cellspacing="0" cellpadding="0"
tr
th總數(shù)/th
th頁(yè)數(shù)/th
/tr
tr
th%=PageNumCount%/th
th%=PageNum%/th
/tr
/table
第%=PageNum%頁(yè) 共%=PageNumCount%頁(yè)
%if(PageNumPageNumCount){%a href="show_page.jsp?page=%=PageNum+1%"下一頁(yè)/a%}%
%if(PageNum1){%a href="show_page?page=%=PageNum-1%"上一頁(yè)/a%}%
/body
/
---------------------------------
一個(gè)bean,按照文檔說(shuō)的用。也希望你給出修改意見(jiàn)。
package mshtang;
/**
* pTitle: DataBaseQuery/p
* pDescription: 用于數(shù)據(jù)庫(kù)翻頁(yè)查詢操作/p
* pCopyright: 廈門(mén)一方軟件公司版權(quán)所有Copyright (c) 2002/p
* pCompany: 廈門(mén)一方軟件公司/p
* @author 小唐蔡
* @version 1.0
*/
import java.sql.*;
import javax.servlet..*;
import java.util.*;
import mshtang.StringAction;
public class DataBaseQuery
{
private HttpServletRequest request;
private StringAction S;
private String sql;
private String userPara;
private String[][] resultArray;
private String[] columnNameArray;
private String[] columnTypeArray;
private int pageSize;
private int columnCount;
private int currentPageNum;
private int currentPageRecordNum;
private int totalPages;
private int pageStartRecord;
private int totalRecord;
private static boolean initSuccessful;
private String currentJSPPageName;
private String displayMessage;
public DataBaseQuery()
{
S = new StringAction();
sql = "";
pageSize = 10;
totalRecord = 0;
initSuccessful = false;
currentJSPPageName = "";
displayMessage = "";
columnNameArray = null;
columnTypeArray = null;
currentPageRecordNum = 0;
columnCount = 0;
}
/**功能:數(shù)據(jù)庫(kù)初始化操作,其它操作的前提。
*
* @param conn:數(shù)據(jù)庫(kù)連接;
* @param request:jsp頁(yè)面request對(duì)象;
* @param querySQL:查詢語(yǔ)句;
* @param pageSize:每頁(yè)顯示記錄數(shù);
* @param startPageNum:開(kāi)始顯示頁(yè)碼
*/
public void init(Connection conn, HttpServletRequest request, String querySQL, int pageSize, int startPageNum)
{
if(conn != null)
{
this.request = request;
this.sql = request.getParameter("querySQL");
this.userPara = request.getParameter("userPara");
if(sql == null || sql.equals(""))
{
sql = querySQL;
}
if(this.userPara == null)
{
this.userPara = "";
}
if(S.isContains(sql, "select;from", ";", true))
{
try
{
Statement st = conn.createStatement();
ResultSet rs = st.executeQuery(sql);
ResultSetMetaData r *** d = rs.getMetaData();
columnCount = r *** d.getColumnCount();
columnNameArray = new String[columnCount];
columnTypeArray = new String[columnCount];
String columnName;
String value;
while(rs.next())
{
totalRecord++;
if(totalRecord == 1)
{
for(int i = 0; i columnCount; i++)
{
columnNameArray[i] = r *** d.getColumnName(i + 1);
columnTypeArray[i] = r *** d.getColumnTypeName(i + 1);
}
}
}
rs.close();
在總記錄數(shù)大于0的情況下進(jìn)行下列操作
獲取鏈接圖象
if(totalRecord 0 pageSize 0 columnCount 0 startPageNum 0)
{
獲取總頁(yè)數(shù)
totalPages = totalRecord / pageSize;
int tempNum = totalRecord % pageSize;
if(tempNum != 0)
{
totalPages++;
}
獲得當(dāng)前頁(yè)頁(yè)碼
String currentPage = request.getParameter("currentPageNum");
currentPageNum = (currentPage == null || currentPage.equals(""))? startPageNum:Integer.parseInt(currentPage);
currentPageNum = (currentPageNum totalPages)?totalPages:currentPageNum;
currentPageNum = (currentPageNum = 0)?1:currentPageNum;
獲得當(dāng)前頁(yè)起始顯示記錄數(shù)
pageStartRecord = (currentPageNum - 1) * pageSize + 1;
pageStartRecord = (pageStartRecord = 0)?1:pageStartRecord;
pageStartRecord = (pageStartRecord totalRecord)?totalRecord:pageStartRecord;
獲得當(dāng)前頁(yè)顯示記錄數(shù)
if(currentPageNum * pageSize totalRecord)
{
currentPageRecordNum = totalRecord - (currentPageNum - 1) * pageSize;
}
else
{
currentPageRecordNum = pageSize;
}
resultArray = new String[currentPageRecordNum][columnCount];
用于跳過(guò)前面不需顯示的記錄
int continueRowNum = 0;
用于跳過(guò)后面不再顯示的記錄
int breakRowNum = 0;
ResultSet rs2 = st.executeQuery(sql);
while(rs2.next())
{
跳過(guò)前面不需顯示的記錄
continueRowNum++;
if(continueRowNum pageStartRecord)
{
continue;
}
存取當(dāng)前頁(yè)需顯示的記錄到二維數(shù)組
for(int i = 0; i columnCount; i++)
{
value = rs2.getString(columnNameArray[i]);
value = (value == null)?"":value.trim();
resultArray[breakRowNum][i] = value;
}
跳過(guò)后面不再顯示的記錄
breakRowNum++;
if(breakRowNum = currentPageRecordNum)
{
break;
}
}
rs2.close();
}
st.close();
}
catch(SQLException e)
{
e.printStackTrace();
}
}
transferSQL(sql);
initSuccessful = true;
}
}
/**功能:數(shù)據(jù)庫(kù)初始化操作,其它操作的前提,默認(rèn)每頁(yè)顯示10條記錄。
*
* @param conn:數(shù)據(jù)庫(kù)連接;
* @param request:jsp頁(yè)面request對(duì)象;
* @param querySQL:查詢語(yǔ)句;
* @param startPageNum:開(kāi)始顯示頁(yè)碼
*/
public void init(Connection conn, HttpServletRequest request, String querySQL, int startPageNum)
{
init(conn, request, querySQL, 10, startPageNum);
}
/**功能:數(shù)據(jù)庫(kù)初始化操作,其它操作的前提,默認(rèn)從第一頁(yè)開(kāi)始顯示。
*
* @param conn:數(shù)據(jù)庫(kù)連接;
* @param request:jsp頁(yè)面request對(duì)象;
* @param querySQL:查詢語(yǔ)句;
* @param pageSize:每頁(yè)顯示記錄數(shù);
*/
public void init(Connection conn, HttpServletRequest request, int pageSize, String querySQL)
{
init(conn, request, querySQL, pageSize, 1);
}
/**功能:數(shù)據(jù)庫(kù)初始化操作,其它操作的前提,默認(rèn)從第一頁(yè)開(kāi)始顯示,每頁(yè)顯示10條記錄。
*
* @param conn:數(shù)據(jù)庫(kù)連接;
* @param request:jsp頁(yè)面request對(duì)象;
* @param querySQL:查詢語(yǔ)句;
*/
public void init(Connection conn, HttpServletRequest request, String querySQL)
{
init(conn, request, querySQL, 10, 1);
}
/**功能:給出沒(méi)有初始化的提醒信息,內(nèi)部調(diào)用。
*
*/
private static void getMessage()
{
if(!initSuccessful)
{
System.out.println("沒(méi)有完成初始化");
}
}
/**功能:得到查詢結(jié)果的總記錄數(shù)。
*
* @return
*/
public int getTotalRecord()
{
getMessage();
return totalRecord;
}
/**功能:得到當(dāng)前頁(yè)的頁(yè)碼
*
* @return
*/
public int getCurrentPageNum()
{
getMessage();
return currentPageNum;
}
/**功能:獲得當(dāng)前頁(yè)記錄數(shù)
*
* @return
*/
public int getCurrentPageRecord()
{
getMessage();
return currentPageRecordNum;
}
/**功能:獲得總頁(yè)數(shù)
*
* @return
*/
public int getTotalPages()
{
getMessage();
return totalPages;
}
/**獲得調(diào)用該javaBean的jsp頁(yè)面文件名,用于翻頁(yè)操作,可以免去外界輸入頁(yè)面參數(shù)的錯(cuò)誤,用于內(nèi)部調(diào)用。
*
* @return:調(diào)用該javaBean的jsp頁(yè)面文件名
*/
private String getCurrentJSPPageName()
{
getMessage();
if(request != null)
{
String tempPage = request.getRequestURI();
String[] tempArray = S.stringSplit(tempPage, "/");
if(tempArray != null tempArray.length 0)
{
currentJSPPageName = tempArray[tempArray.length - 1];
}
}
return currentJSPPageName;
}
/**功能:用于顯示圖片鏈接或字符串(上一頁(yè)、下一頁(yè)等鏈接)。用于翻頁(yè)操作,內(nèi)部調(diào)用
*
* @param imageSource:圖片來(lái)源;
* @param i:翻頁(yè)信息,1表示第一頁(yè),2表示上一頁(yè),3表示下一頁(yè),4表示尾頁(yè),
* @return:顯示的鏈接圖片或鏈接文字
*/
private void displayMessage(String imageSource, int i)
{
getMessage();
if(imageSource != null !imageSource.equals(""))
{
displayMessage = "img src=\"" + imageSource + "\" border=\"0\"";
}
else
{
switch(i)
{
case 1:
displayMessage = "font size=\"2\"[首頁(yè)]/font";
break;
case 2:
displayMessage = "font size=\"2\"[上一頁(yè)]/font";
break;
case 3:
displayMessage = "font size=\"2\"[下一頁(yè)]/font";
break;
case 4:
displayMessage = "font size=\"2\"[尾頁(yè)]/font";
}
}
}
/**功能:鏈接到相應(yīng)頁(yè)面,內(nèi)部調(diào)用。
*
* @param imageSource:圖片來(lái)源;
* @param i:翻頁(yè)信息,1表示第一頁(yè),2表示上一頁(yè),3表示下一頁(yè),4表示尾頁(yè),
* @return:相應(yīng)頁(yè)面的鏈接
*/
private String getNavigation(String imageSource, int i)
{
displayMessage(imageSource, i);
int pageNum = 0;
switch(i)
{
case 1:
pageNum = 1;
break;
case 2:
pageNum = currentPageNum - 1;
break;
case 3:
pageNum = currentPageNum + 1;
break;
case 4:
pageNum = totalPages;
}
currentJSPPageName = "a columnName, true);
if(resultArray != null columnIndex != -1)
{
columnValue = resultArray[recordIndex][columnIndex];
}
}
return columnValue;
}
/**功能:方法重載。返回特定行特定列的值。
*
* @param recordIndex:行索引,從0開(kāi)始;
* @param columnIndex:列索引,從1開(kāi)始;
* @return
*/
public String g
Mysql的分頁(yè)關(guān)鍵點(diǎn)在查詢時(shí)的 limit $iStart,$iEnd;//起初值與總長(zhǎng)度
舉例:selece * from myTable1 order by id desc limit 0,10;
從0開(kāi)始取前10條數(shù)據(jù),取第二頁(yè)的內(nèi)容時(shí),limit 10,10;即可
如有疑問(wèn)去博客加好友,不清楚的再問(wèn)我,有時(shí)間我再寫(xiě)幾篇這樣的文章
很多應(yīng)用往往只展示最新或最熱門(mén)的幾條記錄,但為了舊記錄仍然可訪問(wèn),所以就需要個(gè)分頁(yè)的導(dǎo)航欄。然而,如何通過(guò)MySQL更好的實(shí)現(xiàn)分頁(yè),始終是比較令人頭疼的問(wèn)題。雖然沒(méi)有拿來(lái)就能用的解決辦法,但了解數(shù)據(jù)庫(kù)的底層或多或少有助于優(yōu)化分頁(yè)查詢。
我們先從一個(gè)常用但性能很差的查詢來(lái)看一看。
SELECT *
FROM city
ORDER BY id DESC
LIMIT 0, 15
這個(gè)查詢耗時(shí)0.00sec。So,這個(gè)查詢有什么問(wèn)題呢?實(shí)際上,這個(gè)查詢語(yǔ)句和參數(shù)都沒(méi)有問(wèn)題,因?yàn)樗玫搅讼旅姹淼闹麈I,而且只讀取15條記錄。
CREATE TABLE city (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
city varchar(128) NOT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB;
真正的問(wèn)題在于offset(分頁(yè)偏移量)很大的時(shí)候,像下面這樣:
SELECT *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
上面的查詢?cè)谟?M行記錄時(shí)需要0.22sec,通過(guò)EXPLAIN查看SQL的執(zhí)行計(jì)劃可以發(fā)現(xiàn)該SQL檢索了100015行,但最后只需要15行。大的分頁(yè)偏移量會(huì)增加使用的數(shù)據(jù),MySQL會(huì)將大量最終不會(huì)使用的數(shù)據(jù)加載到內(nèi)存中。就算我們假設(shè)大部分網(wǎng)站的用戶只訪問(wèn)前幾頁(yè)數(shù)據(jù),但少量的大的分頁(yè)偏移量的請(qǐng)求也會(huì)對(duì)整個(gè)系統(tǒng)造成危害。Facebook意識(shí)到了這一點(diǎn),但Facebook并沒(méi)有為了每秒可以處理更多的請(qǐng)求而去優(yōu)化數(shù)據(jù)庫(kù),而是將重心放在將請(qǐng)求響應(yīng)時(shí)間的方差變小。
對(duì)于分頁(yè)請(qǐng)求,還有一個(gè)信息也很重要,就是總共的記錄數(shù)。我們可以通過(guò)下面的查詢很容易的獲取總的記錄數(shù)。
SELECT COUNT(*)
FROM city;
然而,上面的SQL在采用InnoDB為存儲(chǔ)引擎時(shí)需要耗費(fèi)9.28sec。一個(gè)不正確的優(yōu)化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能夠在分頁(yè)查詢時(shí)事先準(zhǔn)備好符合條件的記錄數(shù),隨后只要執(zhí)行一句 select FOUND_ROWS(); 就能獲得總記錄數(shù)。但是在大多數(shù)情況下,查詢語(yǔ)句簡(jiǎn)短并不意味著性能的提高。不幸的是,這種分頁(yè)查詢方式在許多主流框架中都有用到,下面看看這個(gè)語(yǔ)句的查詢性能。
SELECT SQL_CALC_FOUND_ROWS *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
這個(gè)語(yǔ)句耗時(shí)20.02sec,是上一個(gè)的兩倍。事實(shí)證明使用 SQL_CALC_FOUND_ROWS 做分頁(yè)是很糟糕的想法。
下面來(lái)看看到底如何優(yōu)化。文章分為兩部分,第一部分是如何獲取記錄的總數(shù)目,第二部分是獲取真正的記錄。
高效的計(jì)算行數(shù)
如果采用的引擎是MyISAM,可以直接執(zhí)行COUNT(*)去獲取行數(shù)即可。相似的,在堆表中也會(huì)將行數(shù)存儲(chǔ)到表的元信息中。但如果引擎是InnoDB情況就會(huì)復(fù)雜一些,因?yàn)镮nnoDB不保存表的具體行數(shù)。
我們可以將行數(shù)緩存起來(lái),然后可以通過(guò)一個(gè)守護(hù)進(jìn)程定期更新或者用戶的某些操作導(dǎo)致緩存失效時(shí),執(zhí)行下面的語(yǔ)句:
SELECT COUNT(*)
FROM city
USE INDEX(PRIMARY);
獲取記錄
下面進(jìn)入這篇文章最重要的部分,獲取分頁(yè)要展示的記錄。上面已經(jīng)說(shuō)過(guò)了,大的偏移量會(huì)影響性能,所以我們要重寫(xiě)查詢語(yǔ)句。為了演示,我們創(chuàng)建一個(gè)新的表“news”,按照時(shí)事性排序(最新發(fā)布的在最前面),實(shí)現(xiàn)一個(gè)高性能的分頁(yè)。為了簡(jiǎn)單,我們就假設(shè)最新發(fā)布的新聞的Id也是最大的。
CREATE TABLE news(
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
title VARCHAR(128) NOT NULL
) ENGINE=InnoDB;
一個(gè)比較高效的方式是基于用戶展示的最后一個(gè)新聞Id。查詢下一頁(yè)的語(yǔ)句如下,需要傳入當(dāng)前頁(yè)面展示的最后一個(gè)Id。
SELECT *
FROM news WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage
查詢上一頁(yè)的語(yǔ)句類(lèi)似,只不過(guò)需要傳入當(dāng)前頁(yè)的第一個(gè)Id,并且要逆序。
SELECT *
FROM news WHERE id $last_id
ORDER BY id ASC
LIMIT $perpage
上面的查詢方式適合實(shí)現(xiàn)簡(jiǎn)易的分頁(yè),即不顯示具體的頁(yè)數(shù)導(dǎo)航,只顯示“上一頁(yè)”和“下一頁(yè)”,例如博客中頁(yè)腳顯示“上一頁(yè)”,“下一頁(yè)”的按鈕。但如果要實(shí)現(xiàn)真正的頁(yè)面導(dǎo)航還是很難的,下面看看另一種方式。
SELECT id
FROM (
SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt
FROM news
JOIN (SELECT @cnt:= 0)T
WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage * $buttons
)C
WHERE cnt = 0;
通過(guò)上面的語(yǔ)句可以為每一個(gè)分頁(yè)的按鈕計(jì)算出一個(gè)offset對(duì)應(yīng)的id。這種方法還有一個(gè)好處。假設(shè),網(wǎng)站上正在發(fā)布一片新的文章,那么所有文章的位置都會(huì)往后移一位,所以如果用戶在發(fā)布文章時(shí)換頁(yè),那么他會(huì)看見(jiàn)一篇文章兩次。如果固定了每個(gè)按鈕的offset Id,這個(gè)問(wèn)題就迎刃而解了。Mark Callaghan發(fā)表過(guò)一篇類(lèi)似的博客,利用了組合索引和兩個(gè)位置變量,但是基本思想是一致的。
如果表中的記錄很少被刪除、修改,還可以將記錄對(duì)應(yīng)的頁(yè)碼存儲(chǔ)到表中,并在該列上創(chuàng)建合適的索引。采用這種方式,當(dāng)新增一個(gè)記錄的時(shí)候,需要執(zhí)行下面的查詢重新生成對(duì)應(yīng)的頁(yè)號(hào)。
SET p:= 0;
UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;
當(dāng)然,也可以新增一個(gè)專(zhuān)用于分頁(yè)的表,可以用個(gè)后臺(tái)程序來(lái)維護(hù)。
UPDATE pagination T
JOIN (
SELECT id, CEIL((p:= p + 1) / $perpage) page
FROM news
ORDER BY id
)C
ON C.id = T.id
SET T.page = C.page;
現(xiàn)在想獲取任意一頁(yè)的元素就很簡(jiǎn)單了:
SELECT *
FROM news A
JOIN pagination B ON A.id=B.ID
WHERE page=$offset;
還有另外一種與上種方法比較相似的方法來(lái)做分頁(yè),這種方式比較試用于數(shù)據(jù)集相對(duì)小,并且沒(méi)有可用的索引的情況下—比如處理搜索結(jié)果時(shí)。在一個(gè)普通的服務(wù)器上執(zhí)行下面的查詢,當(dāng)有2M條記錄時(shí),要耗費(fèi)2sec左右。這種方式比較簡(jiǎn)單,創(chuàng)建一個(gè)用來(lái)存儲(chǔ)所有Id的臨時(shí)表即可(這也是最耗費(fèi)性能的地方)。
CREATE TEMPORARY TABLE _tmp (KEY SORT(random))
SELECT id, FLOOR(RAND() * 0x8000000) random
FROM city;
ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;
接下來(lái)就可以向下面一樣執(zhí)行分頁(yè)查詢了。
SELECT *
FROM _tmp
WHERE OFFSET = $offset
ORDER BY OFFSET
LIMIT $perpage;
簡(jiǎn)單來(lái)說(shuō),對(duì)于分頁(yè)的優(yōu)化就是。。。避免數(shù)據(jù)量大時(shí)掃描過(guò)多的記錄。