索引就是為特定的mysql字段進(jìn)行一些特定的算法排序,比如二叉樹的算法和哈希算法,哈希算法是通過建立特征值,然后根據(jù)特征值來(lái)快速查找。
創(chuàng)新互聯(lián)主要為客戶提供服務(wù)項(xiàng)目涵蓋了網(wǎng)頁(yè)視覺設(shè)計(jì)、VI標(biāo)志設(shè)計(jì)、營(yíng)銷網(wǎng)站、網(wǎng)站程序開發(fā)、HTML5響應(yīng)式網(wǎng)站建設(shè)、成都做手機(jī)網(wǎng)站、微商城、網(wǎng)站托管及網(wǎng)站維護(hù)、WEB系統(tǒng)開發(fā)、域名注冊(cè)、國(guó)內(nèi)外服務(wù)器租用、視頻、平面設(shè)計(jì)、SEO優(yōu)化排名。設(shè)計(jì)、前端、后端三個(gè)建站步驟的完善服務(wù)體系。一人跟蹤測(cè)試的建站服務(wù)標(biāo)準(zhǔn)。已經(jīng)為成都人造霧行業(yè)客戶提供了網(wǎng)站營(yíng)銷推廣服務(wù)。
1.普通索引:(index)最基本的索引,沒有任何限制? 目的:加快數(shù)據(jù)的查詢速度
2.唯一索引:(unique)? 與"普通索引"類似,不同的就是:索引列的值必須唯一,但允許有空值。
3.主鍵索引(primary key) 它 是一種特殊的唯一索引,不允許有空值。
4.復(fù)合索引:index(a,b,c)? 為了更多的提高mysql效率可建立組合索引,遵循”最左前綴“原則。
5.全文索引:fulltext? 僅可用于 MyISAM 表,針對(duì)較大的數(shù)據(jù),生成全文索引很耗時(shí)耗空間。
第一類是myisam存儲(chǔ)引擎使用的叫做b-tree結(jié)構(gòu),
第二類是innodb存儲(chǔ)引擎使用的叫做聚簇結(jié)構(gòu)(也是一種 b-tree)。 如下圖:
注意:
1.myisam不需要回行處理?
2.innodb不需要回行處理,直接可以獲取數(shù)據(jù),因?yàn)閕nnodb的儲(chǔ)存引擎是包含了數(shù)據(jù)和索引文件的,其主鍵索引包含了數(shù)據(jù),(唯一索引及普通索是沒有直接包含數(shù)據(jù)的)
1、索引列不能參與計(jì)算
有索引列參與計(jì)算的查詢條件對(duì)索引不友好(甚至無(wú)法使用索引),如from_unixtime(create_time) = '2014-05-29'。
原因很簡(jiǎn)單,如何在節(jié)點(diǎn)中查找到對(duì)應(yīng)key?如果線性掃描,則每次都需要重新計(jì)算,成本太高;如果二分查找,則需要針對(duì)from_unixtime方法確定大小關(guān)系。
因此,索引列不能參與計(jì)算。上述from_unixtime(create_time) = '2014-05-29'語(yǔ)句應(yīng)該寫成create_time = unix_timestamp('2014-05-29')。
2、最左前綴匹配
如有索引(a, b, c, d),查詢條件a = 1 and b = 2 and c 3 and d = 4,則會(huì)在每個(gè)節(jié)點(diǎn)依次命中a、b、c,無(wú)法命中d。也就是最左前綴匹配原則。
3、冗余和重復(fù)索引
冗余索引是指在相同的列上按照相同的順序創(chuàng)建的相同類型的索引,應(yīng)當(dāng)盡量避免這種索引,發(fā)現(xiàn)后立即刪除。比如有一個(gè)索引(A,B),再創(chuàng)建索引(A)就是冗余索引。冗余索引經(jīng)常發(fā)生在為表添加新索引時(shí),比如有人新建了索引(A,B),但這個(gè)索引不是擴(kuò)展已有的索引(A)
4、避免多個(gè)范圍條件
? ? select user.* from user where login_time '2017-04-01' and age between 18 and 30;
比如想查詢某個(gè)時(shí)間段內(nèi)登錄過的用戶:它有兩個(gè)范圍條件,login_time列和age列,MySQL可以使用login_time列的索引或者age列的索引,但無(wú)法同時(shí)使用它們 .
5、覆蓋索引 (能擴(kuò)展就不新建)
如果一個(gè)索引包含或者說覆蓋所有需要查詢的字段的值,那么就沒有必要再回表查詢,這就稱為覆蓋索引。覆蓋索引是非常有用的工具,可以極大的提高性能,因?yàn)椴樵冎恍枰獟呙杷饕龝?huì)帶來(lái)許多好處:
1.索引條目遠(yuǎn)小于數(shù)據(jù)行大小,如果只讀取索引,極大減少數(shù)據(jù)訪問量2.索引是有按照列值順序存儲(chǔ)的,對(duì)于I/O密集型的范圍查詢要比隨機(jī)從磁盤讀取每一行數(shù)據(jù)的IO要少的多
6、選擇區(qū)分度高的列作索引
如,用性別作索引,那么索引僅能將1000w行數(shù)據(jù)劃分為兩部分(如500w男,500w女),索引幾乎無(wú)效。
區(qū)分度的公式是count(distinct ) / count(*),表示字段不重復(fù)的比例,比例越大區(qū)分度越好。唯一鍵的區(qū)分度是1,而一些狀態(tài)、性別字段可能在大數(shù)據(jù)面前的區(qū)分度趨近于0。
7、刪除長(zhǎng)期未使用的索引
場(chǎng)景一(覆蓋索引 5)
索引應(yīng)該建在選擇性高的字段上(鍵值唯一的記錄數(shù)/總記錄條數(shù)),選擇性越高索引的效果越好、價(jià)值越大,唯一索引的選擇性最高;
組合索引中字段的順序,選擇性越高的字段排在最前面;
where條件中包含兩個(gè)選擇性高的字段時(shí),可以考慮分別創(chuàng)建索引,引擎會(huì)同時(shí)使用兩個(gè)索引(在OR條件下,應(yīng)該說必須分開建索引);
不要重復(fù)創(chuàng)建彼此有包含關(guān)系的索引,如index1(a,b,c) 、index2(a,b)、index3(a);
組合索引的字段不要過多,如果超過4個(gè)字段,一般需要考慮拆分成多個(gè)單列索引或更為簡(jiǎn)單的組合索引;
不要濫用索引。因?yàn)檫^多的索引不僅僅會(huì)增加物理存儲(chǔ)的開銷,對(duì)于插入、刪除、更新操作也會(huì)增加處理上的開銷,而且會(huì)增加優(yōu)化器在選擇索引時(shí)的計(jì)算代價(jià)。
因此太多的索引與不充分、不正確的索引對(duì)性能都是毫無(wú)益處的。一言以蔽之,索引的建立必須慎重,對(duì)每個(gè)索引的必要性都應(yīng)該經(jīng)過仔細(xì)分析,要有建立的依據(jù)。
二叉搜索樹、N叉樹
頁(yè)分裂:B+樹的插入可能會(huì)引起數(shù)據(jù)頁(yè)的分裂,刪除可能會(huì)引起數(shù)據(jù)頁(yè)的合并,二者都是比較重的IO消耗,所以比較好的方式是順序插入數(shù)據(jù),這也是我們一般使用自增主鍵的原因之一。
頁(yè)分裂逆過程:頁(yè)合并,當(dāng)刪除數(shù)據(jù)后,相鄰的兩個(gè)數(shù)據(jù)頁(yè)利用率很低的時(shí)候會(huì)做數(shù)據(jù)頁(yè)合并
主鍵索引:key:主鍵,value:數(shù)據(jù)頁(yè),存儲(chǔ)每行數(shù)據(jù)
非主鍵索引:key:非主鍵索引,value:主鍵key,導(dǎo)致回表
最左匹配:優(yōu)先將區(qū)分度高的列放到前面,這樣可以高效索引,
最左匹配原則遇到范圍查詢就停止匹配,范圍查詢(、、between、like)為什么?因?yàn)槌霈F(xiàn)范圍匹配后,后面的索引字段無(wú)法保證有序,局部有序失去,順序失去則無(wú)法提高查詢效率
SELECT * FROM table WHERE a IN (1,2,3) and b 1;
如何建立索引?
還是對(duì)(a,b)建立索引,因?yàn)镮N在這里可以視為等值引用,不會(huì)中止索引匹配,所以還是(a,b)!
索引組織表
索引用頁(yè)存儲(chǔ):key【10】-point【6】,通過調(diào)整key大小,當(dāng)頁(yè)大小固定的情況下,通過調(diào)整key大小,使得N叉樹變化;
如key 10, point 6則單個(gè)索引16字節(jié),頁(yè)大小為16k,則頁(yè)面總共可以存儲(chǔ)1024個(gè)索引,即N大小
覆蓋索引: 二級(jí)索引的信息已經(jīng)存在想要的列,例如主鍵
如果現(xiàn)在有一個(gè)高頻請(qǐng)求,要根據(jù)市民的身份證號(hào)查詢他的姓名,這個(gè)聯(lián)合索引就有意義了。它可以在這個(gè)高頻請(qǐng)求上用到覆蓋索引,不再需要回表查整行記錄,減少語(yǔ)句的執(zhí)行時(shí)間。
索引下推優(yōu)化:可以在索引遍歷過程中,對(duì)索引中包含的字段先做判斷,直接過濾掉不滿足條件的記錄,減少回表次數(shù)。
整理索引碎片,重建表:alter table T engine=InnoDB
??首先是看key的大小,另外是數(shù)據(jù)頁(yè)的大小,如果需要改變N,則需要從這兩個(gè)方面做改動(dòng);
一個(gè)innoDB引擎的表,數(shù)據(jù)量非常大,根據(jù)二級(jí)索引搜索會(huì)比主鍵搜索快,文章闡述的原因是主鍵索引和數(shù)據(jù)行在一起,非常大搜索慢,我的疑惑是:通過普通索引找到主鍵ID后,同樣要跑一邊主鍵索引,對(duì)于使用覆蓋索引的情況下,使用覆蓋索引可以直接解決問題
索引覆蓋是指如果查詢的列恰好是索引的一部分,那么查詢只需要在索引文件上進(jìn)行,不需要回行到磁盤再找數(shù)據(jù)。這種查詢速度非???稱為”索引覆蓋”
? ? 1查詢頻繁????2區(qū)分度高????3長(zhǎng)度小????4盡量能覆蓋常用查詢字段
索引長(zhǎng)度直接影響索引文件的大小,影響增刪改的速度,并間接影響查詢速度(占用內(nèi)存多)。因此對(duì)于一些長(zhǎng)短不同的字節(jié),我們會(huì)針對(duì)列中的值,從左往右截取部分,來(lái)建索引。但是:
1:截的越短, 重復(fù)度越高,區(qū)分度越小, 索引效果越不好
2:截的越長(zhǎng), 重復(fù)度越低,區(qū)分度越高, 索引效果越好,但帶來(lái)的影響也越大--增刪改變慢,并間影響查詢速度.
所以,我們要在 ?區(qū)分度 + 長(zhǎng)度 ?兩者上,取得一個(gè)平衡( distinct?去重 )
? ? select count (distinct?left (word,6)) / count (*) from tablename;
對(duì)于一般的系統(tǒng)應(yīng)用區(qū)別度能達(dá)到 0.1 ,索引的性能就可以接受.
? ? alter table tablename add index word(word(4));
給字符串類型的字段建立索引效率不高,但是必須要經(jīng)常查這個(gè)字段怎么建索引?
比如說一個(gè)字段url,類型是字符串。那么可以建一個(gè)字段 crcurl 來(lái)存儲(chǔ)url字段crc32后的值,并給 crcurl 建立索引。
???crc32:循環(huán)冗余校驗(yàn)。根據(jù)網(wǎng)上數(shù)據(jù)包或計(jì)算機(jī)文件等數(shù)據(jù)產(chǎn)生簡(jiǎn)短固定位數(shù)校驗(yàn)碼的一種散列函數(shù),主要用來(lái)檢測(cè)或校驗(yàn)數(shù)據(jù)傳輸或者保存后可能出現(xiàn)的錯(cuò)誤。生成的數(shù)字在傳輸或者存儲(chǔ)之前計(jì)算出來(lái)并且附加到數(shù)據(jù)后面,然后接收方進(jìn)行檢驗(yàn)確定數(shù)據(jù)是否發(fā)生變化。一般來(lái)說,循環(huán)冗余校驗(yàn)的值都是32位的整數(shù)。
crc32 是整形,在MySQL中,給整形字段建立索引效率比較高,crc32雖然不能確保唯一性,但是無(wú)礙,相同的機(jī)率也是極小,關(guān)鍵是可以大大減少查詢的范圍,給crcurl這個(gè)字段建立索引,查詢的時(shí)候帶上crcurl字段就可以利用到索引。
? ? ? ? 不允許翻過100頁(yè)(百度搜索一般到70頁(yè)左右)?
首先我們直接大數(shù)據(jù)分頁(yè)limit 5000000,10? 發(fā)現(xiàn)耗時(shí)4.41秒
接下來(lái)我們轉(zhuǎn)換方式使用where條件查詢,只耗時(shí)0.02秒
? ? ? ? 2次的查詢結(jié)果不一致,這是因?yàn)閿?shù)據(jù)被物理刪除過有空洞.,因此我們可以追加軟刪除功能
分析:優(yōu)化思路是 不查,少查,查索引,少取.
我們現(xiàn)在必須要查,則只查索引,不查數(shù)據(jù),得到id.
再用id去查具體條目. ?這種技巧就是延遲索引.
? ? 分析:limit是先查詢?cè)僭竭^,也就是說我們先查詢出所有數(shù)據(jù)再進(jìn)行跳躍,上圖我們?cè)竭^500W頁(yè),還使用了inner?join? 內(nèi)存并沒有崩掉,這是因?yàn)槲覀冏泳鋞mp臨時(shí)表中只查詢了id(索引覆蓋,不需要回行去磁盤找數(shù)據(jù)了)然后拿到這10個(gè)id?分別查詢這10條數(shù)據(jù) 。
排序可能發(fā)生2種情況:
1:對(duì)于覆蓋索引,直接在索引上查詢時(shí),就是有順序的, using index
2:先取出數(shù)據(jù),形成臨時(shí)表做filesort(文件排序,但文件可能在磁盤上,也可能在內(nèi)存中)
我們的爭(zhēng)取目標(biāo):取出來(lái)的數(shù)據(jù)本身就是有序的! 利用索引來(lái)排序,那么什么時(shí)候發(fā)生索引排序呢?即查詢索引和order by的字段是同一個(gè)字段
???goods表中 cat_id與shop_price組成聯(lián)合索引:
select goods_id,cat_id,shop_price from goods where cat_id=4 order by shop_price;????可以直接利用索引來(lái)排序,
using where按照shop_price索引取出的結(jié)果,本身就是有序的
? ? ?????select goods_id,cat_id,shop_price from goods order by click_count;
? ? ? ? ? using filesort用到了文件排序,即取出的結(jié)果再次排序
重復(fù)索引是指 在同1個(gè)列(如age), 或者順序相同的幾個(gè)列(age,school), 建立了多個(gè)索引,稱為重復(fù)索引,重復(fù)索引沒有任何幫助,只會(huì)增大索引文件,拖慢更新速度。
冗余索引是指2個(gè)索引所覆蓋的列有重疊, 稱為冗余索引。比如x,m,列,加索引 index x(x), ?index xm(x,m) x,xm索引, 兩者的x列重疊了, ?這種情況,稱為冗余索引. (mx, xm 不是重復(fù)的,因?yàn)榱械捻樞虿灰粯樱?/p>
上一篇給小伙伴們講了關(guān)于SQL查詢性能優(yōu)化的相關(guān)技巧,一個(gè)好的查詢SQL離不開合理的索引設(shè)計(jì)。這篇小二就來(lái)嘮一嘮怎么合理的設(shè)計(jì)一個(gè)索引來(lái)優(yōu)化我們的查詢速度,要是有不合理的地方...嗯..
當(dāng)然啦,開個(gè)玩笑,歡迎小伙伴們指正!
通常情況下,字段類型的選擇是需要根據(jù)業(yè)務(wù)來(lái)判斷的,通常需要遵循以下幾點(diǎn)。
下列各種類型表格內(nèi)容來(lái)自菜鳥教程,權(quán)當(dāng)備忘。
優(yōu)化建議:
注意: INT(2)設(shè)置的為顯示寬度,而不是整數(shù)的長(zhǎng)度,需要配合 ZEROFILL 使用 。
例如 id 設(shè)置為 TINYINT(2) UNSIGNED ,表示無(wú)符號(hào),可以存儲(chǔ)的最大數(shù)值為255,其中 TINYINT(2) 沒有配合 ZEROFILL 實(shí)際沒有任何意義,例如插入數(shù)字200,長(zhǎng)度雖然超過了兩位,但是這個(gè)時(shí)候是可以插入成功的,查詢結(jié)果同樣為200;插入數(shù)字5時(shí),同樣查詢結(jié)果為5。
而 TINYINT(2) 配合 ZEROFILL 后,當(dāng)插入數(shù)字5時(shí),實(shí)際存儲(chǔ)的還是5,不過在查詢是MySQL會(huì)在前面補(bǔ)上一個(gè)0,即查詢出來(lái)的實(shí)際為 05 。
優(yōu)化建議:
優(yōu)化建議:
通常來(lái)說,考慮好表中每個(gè)字段應(yīng)該使用什么類型和長(zhǎng)度,建完表需要做的事情不是馬上建立索引,而是先把相關(guān)主體業(yè)務(wù)開發(fā)完畢,然后把涉及該表的SQL都拿出來(lái)分析之后再建立索引。
盡量少建立單值索引( 唯一索引除外 ),應(yīng)當(dāng)設(shè)計(jì)一個(gè)或者兩三個(gè)聯(lián)合索引,讓每一個(gè)聯(lián)合索引都盡量去包含SQL語(yǔ)句中的 where、order by、group by 的字段,同時(shí)確保聯(lián)合索引的字段順序盡量滿足SQL查詢的最左前綴原則。
索引基數(shù)是指這個(gè)字段在表里總共有多少個(gè)不同的值,比如一張表總共100萬(wàn)行記錄,其中有個(gè)性別字段,性別一共有三個(gè)值:男、女、保密,那么該字段的基數(shù)就是3。
如果對(duì)這種小基數(shù)字段建立索引的話,因?yàn)樗饕龢渲兄挥心?、女、保密三個(gè)值,根本沒法進(jìn)行快速的二分查找,同時(shí)還需要回表查詢,還不如全表掃描嘞。
一般建立索引,盡量使用那些基數(shù)比較大的字段,那么才能發(fā)揮出B+樹快速二分查找的優(yōu)勢(shì)來(lái)。
在 where 和 order by 出現(xiàn)索引設(shè)計(jì)沖突時(shí),是優(yōu)先針對(duì)where去設(shè)計(jì)索引?還是優(yōu)先針對(duì)order by設(shè)計(jì)索引?
通常情況下都是優(yōu)先針對(duì) where 來(lái)設(shè)計(jì)索引,因?yàn)橥ǔG闆r下都是先 where 條件使用索引快速篩選出來(lái)符合條件的數(shù)據(jù),然后對(duì)進(jìn)行篩選出來(lái)的數(shù)據(jù)進(jìn)行排序和分組,而 where 條件快速篩選出來(lái)的的數(shù)據(jù)往往不會(huì)很多。
對(duì)生產(chǎn)實(shí)際運(yùn)行過程中,或者測(cè)試環(huán)境大數(shù)據(jù)量測(cè)試過程中發(fā)現(xiàn)的慢查詢SQL進(jìn)行特定的索引優(yōu)化、代碼優(yōu)化等策略。
終于輪到實(shí)戰(zhàn)了,小二最喜歡實(shí)戰(zhàn)了。
寫到這里不得不吐槽一下,這個(gè)金三銀四的跳槽季節(jié),年前提離職了,結(jié)果離職還沒辦完就封村整整兩個(gè)禮拜了,嗚嗚嗚...
上節(jié)小二就提到會(huì)有個(gè)很有意思的小案例,那么在疫情當(dāng)下,門都出不去的日子,感覺這個(gè)例子更有意思了,咱們來(lái)討論一下各種社交平臺(tái)怎么做的用戶信息搜索呢。
社交平臺(tái)有一個(gè)小伙伴們都喜歡的功能,搜索好友信息,比如小二熟練的點(diǎn)開省份...城市..性別..年齡..身高...
咳咳咳...小二怎么可能干這種事情,小二的心里只有代碼,嗯...沒錯(cuò),就是這樣。
這個(gè)就可以說是對(duì)于用戶信息的查詢篩選了,通常這種表都是非常大數(shù)據(jù)量的,在不考慮分庫(kù)分表的情況下,怎么通過索引配合SQL來(lái)優(yōu)化呢?
通常我們?cè)诰帉慡QL是會(huì)寫出類似如下的SQL來(lái)執(zhí)行,有 where、order by、limit 等條件來(lái)查詢。
那么接下來(lái)小二一個(gè)一個(gè)慢慢增加字段來(lái)分析分析,怎么根據(jù)業(yè)務(wù)場(chǎng)景來(lái)設(shè)計(jì)索引。
針對(duì)這種情況,很簡(jiǎn)單,設(shè)計(jì)一個(gè)聯(lián)合索引 (provice, city, sex) 就完事了。
那么這時(shí)候有小伙伴就會(huì)說了,很簡(jiǎn)單啊,范圍字段放最后咱還是知道的,聯(lián)合索引改成 (provice, city, sex, age) 不就可以了。
嗯,是的,這么干沒毛病,但是小伙伴們有沒有想過有些人萬(wàn)一既喜歡帥哥又喜歡美女,別想歪了哈...,挺多小姐姐就既喜歡帥哥又喜歡美女的。
那么這個(gè)時(shí)候小姐姐就不搜索性別了,那么這個(gè)時(shí)候聯(lián)合索引只能用到前兩個(gè)字段了,那么不符合咱們的專業(yè)標(biāo)準(zhǔn)啊,咋辦呢?這時(shí)候還是有辦法的,咱們只需要?jiǎng)觿?dòng)小腦袋改改SQL就行了,在沒有選擇性別時(shí)判斷一下,改成下面這樣就可以了。
咋辦嘞,同樣往聯(lián)合索引里面塞,例如 (provice, city, sex, hobby, xx, age) 。
針對(duì)這種多個(gè)范圍查詢的話,為了比較好的利用索引,在業(yè)務(wù)允許的情況下可以使用固定范圍,然后數(shù)據(jù)庫(kù)字段存儲(chǔ)范圍標(biāo)識(shí)就可以了,這樣就轉(zhuǎn)化為了等值匹配,就可以很好地利用索引了。
例如最后登錄時(shí)間字段不記錄最后登錄時(shí)間,而是記錄設(shè)置字段 is_login_within_seven_days 在7天內(nèi)有登錄則為1,否則為0,最后索引設(shè)計(jì)成 (provice, city, sex, hobby, xx, is_login_within_seven_days, age) 。
那么根據(jù)場(chǎng)景最后設(shè)計(jì)出來(lái)的這個(gè)索引可能已經(jīng)可以覆蓋大部分的查詢流量了,那么如果還有其他一部分熱度比較高的查詢?cè)趺崔k呢,辦法也很簡(jiǎn)單啊,再加一兩個(gè)索引即可。
例如通常會(huì)查詢這個(gè)城市比較受歡迎(評(píng)分:score)的小姐姐,這時(shí)候添加一個(gè)聯(lián)合索引 (provice, city, sex, score) 那么就可以了。
可以看出,索引時(shí)必須結(jié)合場(chǎng)景來(lái)設(shè)計(jì)的,思路就是盡量用不超過3個(gè)復(fù)雜的聯(lián)合索引來(lái)抗住大部分的80%以上的常用查詢流量,然后再用一兩個(gè)二級(jí)索引來(lái)抗下一些非常用查詢流量。
以上就是小二要給大家分享的索引設(shè)計(jì),如果能動(dòng)動(dòng)你發(fā)財(cái)?shù)男∈纸o小二點(diǎn)個(gè)免費(fèi)的贊就更好啦~
下篇小二就來(lái)講講MySQL事務(wù)和鎖機(jī)制。