這篇文章主要介紹了MySql分表、分庫、分片和分區(qū)知識(shí)點(diǎn)有哪些,具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
成都創(chuàng)新互聯(lián)客戶idc服務(wù)中心,提供成都電信服務(wù)器托管、成都服務(wù)器、成都主機(jī)托管、成都雙線服務(wù)器等業(yè)務(wù)的一站式服務(wù)。通過各地的服務(wù)中心,我們向成都用戶提供優(yōu)質(zhì)廉價(jià)的產(chǎn)品以及開放、透明、穩(wěn)定、高性價(jià)比的服務(wù),資深網(wǎng)絡(luò)工程師在機(jī)房提供7*24小時(shí)標(biāo)準(zhǔn)級(jí)技術(shù)保障。一、前言
數(shù)據(jù)庫的數(shù)據(jù)量達(dá)到一定程度之后,為避免帶來系統(tǒng)性能上的瓶頸。需要進(jìn)行數(shù)據(jù)的處理,采用的手段是分區(qū)、分片、分庫、分表。
二、分片(類似分庫)
分片是把數(shù)據(jù)庫橫向擴(kuò)展(Scale Out)到多個(gè)物理節(jié)點(diǎn)上的一種有效的方式,其主要目的是為突破單節(jié)點(diǎn)數(shù)據(jù)庫服務(wù)器的 I/O 能力限制,解決數(shù)據(jù)庫擴(kuò)展性問題。Shard這個(gè)詞的意思是“碎片”。如果將一個(gè)數(shù)據(jù)庫當(dāng)作一塊大玻璃,將這塊玻璃打碎,那么每一小塊都稱為數(shù)據(jù)庫的碎片(DatabaseShard)。將整個(gè)數(shù)據(jù)庫打碎的過程就叫做分片,可以翻譯為分片。
形式上,分片可以簡單定義為將大數(shù)據(jù)庫分布到多個(gè)物理節(jié)點(diǎn)上的一個(gè)分區(qū)方案。每一個(gè)分區(qū)包含數(shù)據(jù)庫的某一部分,稱為一個(gè)片,分區(qū)方式可以是任意的,并不局限于傳統(tǒng)的水平分區(qū)和垂直分區(qū)。一個(gè)分片可以包含多個(gè)表的內(nèi)容甚至可以包含多個(gè)數(shù)據(jù)庫實(shí)例中的內(nèi)容。每個(gè)分片被放置在一個(gè)數(shù)據(jù)庫服務(wù)器上。一個(gè)數(shù)據(jù)庫服務(wù)器可以處理一個(gè)或多個(gè)分片的數(shù)據(jù)。系統(tǒng)中需要有服務(wù)器進(jìn)行查詢路由轉(zhuǎn)發(fā),負(fù)責(zé)將查詢轉(zhuǎn)發(fā)到包含該查詢所訪問數(shù)據(jù)的分片或分片集合節(jié)點(diǎn)上去執(zhí)行。
三、Scale Out/Scale Up 和 垂直切分/水平拆分
Mysql的擴(kuò)展方案包括Scale Out和Scale Up兩種。
Scale Out(橫向擴(kuò)展)是指Application可以在水平方向上擴(kuò)展。一般對(duì)數(shù)據(jù)中心的應(yīng)用而言,Scale out指的是當(dāng)添加更多的機(jī)器時(shí),應(yīng)用仍然可以很好的利用這些機(jī)器的資源來提升自己的效率從而達(dá)到很好的擴(kuò)展性。
Scale Up(縱向擴(kuò)展)是指Application可以在垂直方向上擴(kuò)展。一般對(duì)單臺(tái)機(jī)器而言,Scale Up值得是當(dāng)某個(gè)計(jì)算節(jié)點(diǎn)(機(jī)器)添加更多的CPU Cores,存儲(chǔ)設(shè)備,使用更大的內(nèi)存時(shí),應(yīng)用可以很充分的利用這些資源來提升自己的效率從而達(dá)到很好的擴(kuò)展性。
MySql的Sharding策略包括垂直切分和水平切分兩種。
垂直(縱向)拆分:是指按功能模塊拆分,以解決表與表之間的io競爭。比如分為訂單庫、商品庫、用戶庫...這種方式多個(gè)數(shù)據(jù)庫之間的表結(jié)構(gòu)不同。
水平(橫向)拆分:將同一個(gè)表的數(shù)據(jù)進(jìn)行分塊保存到不同的數(shù)據(jù)庫中,來解決單表中數(shù)據(jù)量增長出現(xiàn)的壓力。這些數(shù)據(jù)庫中的表結(jié)構(gòu)完全相同。
表結(jié)構(gòu)設(shè)計(jì)垂直切分。常見的一些場景包括
a).大字段的垂直切分。單獨(dú)將大字段建在另外的表中,提高基礎(chǔ)表的訪問性能,原則上在性能關(guān)鍵的應(yīng)用中應(yīng)當(dāng)避免數(shù)據(jù)庫的大字段
b). 按照使用用途垂直切分。例如企業(yè)物料屬性,可以按照基本屬性、銷售屬性、采購屬性、生產(chǎn)制造屬性、財(cái)務(wù)會(huì)計(jì)屬性等用途垂直切分
c). 按照訪問頻率垂直切分。例如電子商務(wù)、Web 2.0系統(tǒng)中,如果用戶屬性設(shè)置非常多,可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開
表結(jié)構(gòu)設(shè)計(jì)水平切分。常見的一些場景包括
a). 比如在線電子商務(wù)網(wǎng)站,訂單表數(shù)據(jù)量過大,按照年度、月度水平切分
b). Web 2.0網(wǎng)站注冊用戶、在線活躍用戶過多,按照用戶ID范圍等方式,將相關(guān)用戶以及該用戶緊密關(guān)聯(lián)的表做水平切分
c). 例如論壇的置頂帖子,因?yàn)樯婕暗椒猪搯栴},每頁都需要顯示置頂貼,這種情況可以把置頂貼水平切分開來,避免取置頂帖子時(shí)從所有帖子的表中讀取
四、分表和分區(qū)
分表從表面意思說就是把一張表分成多個(gè)小表,分區(qū)則是把一張表的數(shù)據(jù)分成N多個(gè)區(qū)塊,這些區(qū)塊可以在同一個(gè)磁盤上,也可以在不同的磁盤上。
分表和分區(qū)的區(qū)別
1,實(shí)現(xiàn)方式上
mysql的分表是真正的分表,一張表分成很多表后,每一個(gè)小表都是完正的一張表,都對(duì)應(yīng)三個(gè)文件(MyISAM引擎:一個(gè).MYD數(shù)據(jù)文件,.MYI索引文件,.frm表結(jié)構(gòu)文件)。
2,數(shù)據(jù)處理上
分表后數(shù)據(jù)都是存放在分表里,總表只是一個(gè)外殼,存取數(shù)據(jù)發(fā)生在一個(gè)一個(gè)的分表里面。分區(qū)則不存在分表的概念,分區(qū)只不過把存放數(shù)據(jù)的文件分成了許多小塊,分區(qū)后的表還是一張表,數(shù)據(jù)處理還是由自己來完成。
3,提高性能上
分表后,單表的并發(fā)能力提高了,磁盤I/O性能也提高了。分區(qū)突破了磁盤I/O瓶頸,想提高磁盤的讀寫能力,來增加mysql性能。
在這一點(diǎn)上,分區(qū)和分表的測重點(diǎn)不同,分表重點(diǎn)是存取數(shù)據(jù)時(shí),如何提高mysql并發(fā)能力上;而分區(qū)呢,如何突破磁盤的讀寫能力,從而達(dá)到提高mysql性能的目的。
4,實(shí)現(xiàn)的難易度上
分表的方法有很多,用merge來分表,是最簡單的一種方式。這種方式和分區(qū)難易度差不多,并且對(duì)程序代碼來說可以做到透明的。如果是用其他分表方式就比分區(qū)麻煩了。分區(qū)實(shí)現(xiàn)是比較簡單的,建立分區(qū)表,跟建平常的表沒什么區(qū)別,并且對(duì)代碼端來說是透明的。
分區(qū)的適用場景
1. 一張表的查詢速度已經(jīng)慢到影響使用的時(shí)候。
2.表中的數(shù)據(jù)是分段的
3.對(duì)數(shù)據(jù)的操作往往只涉及一部分?jǐn)?shù)據(jù),而不是所有的數(shù)據(jù)
CREATE TABLE sales ( id INT AUTO_INCREMENT, amount DOUBLE NOT NULL, order_day DATETIME NOT NULL, PRIMARY KEY(id, order_day) ) ENGINE=Innodb PARTITION BY RANGE(YEAR(order_day)) ( PARTITION p_2010 VALUES LESS THAN (2010), PARTITION p_2011 VALUES LESS THAN (2011), PARTITION p_2012 VALUES LESS THAN (2012), PARTITION p_catchall VALUES LESS THAN MAXVALUE);
分表的適用場景
1. 一張表的查詢速度已經(jīng)慢到影響使用的時(shí)候。
2.當(dāng)頻繁插入或者聯(lián)合查詢時(shí),速度變慢。
分表的實(shí)現(xiàn)需要業(yè)務(wù)結(jié)合實(shí)現(xiàn)和遷移,較為復(fù)雜。
五、分表與分庫
分表能夠解決單表數(shù)據(jù)量過大帶來的查詢效率下降的問題,但是,卻無法給數(shù)據(jù)庫的并發(fā)處理能力帶來質(zhì)的提升。面對(duì)高并發(fā)的讀寫訪問,當(dāng)數(shù)據(jù)庫master服務(wù)器無法承載寫操作壓力時(shí),不管如何擴(kuò)展slave服務(wù)器,此時(shí)都沒有意義了。因此,我們必須換一種思路,對(duì)數(shù)據(jù)庫進(jìn)行拆分,從而提高數(shù)據(jù)庫寫入能力,這就是所謂的分庫。
與分表策略相似,分庫可以采用通過一個(gè)關(guān)鍵字取模的方式,來對(duì)數(shù)據(jù)訪問進(jìn)行路由,如下圖所示
六、分區(qū)與分片區(qū)別
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“MySql分表、分庫、分片和分區(qū)知識(shí)點(diǎn)有哪些”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來學(xué)習(xí)!