本篇內(nèi)容介紹了“MySQL中的分表、分庫(kù)、分片和分區(qū)的分析”的有關(guān)知識(shí),在實(shí)際案例的操作過(guò)程中,不少人都會(huì)遇到這樣的困境,接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
十年的云州網(wǎng)站建設(shè)經(jīng)驗(yàn),針對(duì)設(shè)計(jì)、前端、開(kāi)發(fā)、售后、文案、推廣等六對(duì)一服務(wù),響應(yīng)快,48小時(shí)及時(shí)工作處理。成都營(yíng)銷網(wǎng)站建設(shè)的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同,自動(dòng)調(diào)整云州建站的顯示方式,使網(wǎng)站能夠適用不同顯示終端,在瀏覽器中調(diào)整網(wǎng)站的寬度,無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站,都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì),從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)從事“云州網(wǎng)站設(shè)計(jì)”,“云州網(wǎng)站推廣”以來(lái),每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。
數(shù)據(jù)庫(kù)的數(shù)據(jù)量達(dá)到一定程度之后,為避免帶來(lái)系統(tǒng)性能上的瓶頸。需要進(jìn)行數(shù)據(jù)的處理,采用的手段是分區(qū)、分片、分庫(kù)、分表。
分片是把數(shù)據(jù)庫(kù)橫向擴(kuò)展(Scale Out)到多個(gè)物理節(jié)點(diǎn)上的一種有效的方式,其主要目的是為突破單節(jié)點(diǎn)數(shù)據(jù)庫(kù)服務(wù)器的 I/O 能力限制,解決數(shù)據(jù)庫(kù)擴(kuò)展性問(wèn)題。Shard這個(gè)詞的意思是“碎片”。如果將一個(gè)數(shù)據(jù)庫(kù)當(dāng)作一塊大玻璃,將這塊玻璃打碎,那么每一小塊都稱為數(shù)據(jù)庫(kù)的碎片(DatabaseShard)。將整個(gè)數(shù)據(jù)庫(kù)打碎的過(guò)程就叫做分片,可以翻譯為分片。
形式上,分片可以簡(jiǎn)單定義為將大數(shù)據(jù)庫(kù)分布到多個(gè)物理節(jié)點(diǎn)上的一個(gè)分區(qū)方案。每一個(gè)分區(qū)包含數(shù)據(jù)庫(kù)的某一部分,稱為一個(gè)片,分區(qū)方式可以是任意的,并不局限于傳統(tǒng)的水平分區(qū)和垂直分區(qū)。一個(gè)分片可以包含多個(gè)表的內(nèi)容甚至可以包含多個(gè)數(shù)據(jù)庫(kù)實(shí)例中的內(nèi)容。每個(gè)分片被放置在一個(gè)數(shù)據(jù)庫(kù)服務(wù)器上。一個(gè)數(shù)據(jù)庫(kù)服務(wù)器可以處理一個(gè)或多個(gè)分片的數(shù)據(jù)。系統(tǒng)中需要有服務(wù)器進(jìn)行查詢路由轉(zhuǎn)發(fā),負(fù)責(zé)將查詢轉(zhuǎn)發(fā)到包含該查詢所訪問(wèn)數(shù)據(jù)的分片或分片集合節(jié)點(diǎn)上去執(zhí)行。
Mysql的擴(kuò)展方案包括Scale Out和Scale Up兩種。
Scale Out(橫向擴(kuò)展)是指Application可以在水平方向上擴(kuò)展。一般對(duì)數(shù)據(jù)中心的應(yīng)用而言,Scale out指的是當(dāng)添加更多的機(jī)器時(shí),應(yīng)用仍然可以很好的利用這些機(jī)器的資源來(lái)提升自己的效率從而達(dá)到很好的擴(kuò)展性。
Scale Up(縱向擴(kuò)展)是指Application可以在垂直方向上擴(kuò)展。一般對(duì)單臺(tái)機(jī)器而言,Scale Up值得是當(dāng)某個(gè)計(jì)算節(jié)點(diǎn)(機(jī)器)添加更多的CPU Cores,存儲(chǔ)設(shè)備,使用更大的內(nèi)存時(shí),應(yīng)用可以很充分的利用這些資源來(lái)提升自己的效率從而達(dá)到很好的擴(kuò)展性。
MySql的Sharding策略包括垂直切分和水平切分兩種。
垂直(縱向)拆分:是指按功能模塊拆分,以解決表與表之間的io競(jìng)爭(zhēng)。比如分為訂單庫(kù)、商品庫(kù)、用戶庫(kù)…這種方式多個(gè)數(shù)據(jù)庫(kù)之間的表結(jié)構(gòu)不同。
水平(橫向)拆分:將同一個(gè)表的數(shù)據(jù)進(jìn)行分塊保存到不同的數(shù)據(jù)庫(kù)中,來(lái)解決單表中數(shù)據(jù)量增長(zhǎng)出現(xiàn)的壓力。這些數(shù)據(jù)庫(kù)中的表結(jié)構(gòu)完全相同。
表結(jié)構(gòu)設(shè)計(jì)垂直切分。常見(jiàn)的一些場(chǎng)景包括
大字段的垂直切分。單獨(dú)將大字段建在另外的表中,提高基礎(chǔ)表的訪問(wèn)性能,原則上在性能關(guān)鍵的應(yīng)用中應(yīng)當(dāng)避免數(shù)據(jù)庫(kù)的大字段
按照使用用途垂直切分。例如企業(yè)物料屬性,可以按照基本屬性、銷售屬性、采購(gòu)屬性、生產(chǎn)制造屬性、財(cái)務(wù)會(huì)計(jì)屬性等用途垂直切分
按照訪問(wèn)頻率垂直切分。例如電子商務(wù)、Web 2.0系統(tǒng)中,如果用戶屬性設(shè)置非常多,可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開(kāi)
表結(jié)構(gòu)設(shè)計(jì)水平切分。常見(jiàn)的一些場(chǎng)景包括
比如在線電子商務(wù)網(wǎng)站,訂單表數(shù)據(jù)量過(guò)大,按照年度、月度水平切分
Web 2.0網(wǎng)站注冊(cè)用戶、在線活躍用戶過(guò)多,按照用戶ID范圍等方式,將相關(guān)用戶以及該用戶緊密關(guān)聯(lián)的表做水平切分
例如論壇的置頂帖子,因?yàn)樯婕暗椒猪?yè)問(wèn)題,每頁(yè)都需要顯示置頂貼,這種情況可以把置頂貼水平切分開(kāi)來(lái),避免取置頂帖子時(shí)從所有帖子的表中讀取
分表從表面意思說(shuō)就是把一張表分成多個(gè)小表,分區(qū)則是把一張表的數(shù)據(jù)分成N多個(gè)區(qū)塊,這些區(qū)塊可以在同一個(gè)磁盤(pán)上,也可以在不同的磁盤(pán)上。
實(shí)現(xiàn)方式上
mysql的分表是真正的分表,一張表分成很多表后,每一個(gè)小表都是完正的一張表,都對(duì)應(yīng)三個(gè)文件(MyISAM引擎:一個(gè).MYD數(shù)據(jù)文件,.MYI索引文件,.frm表結(jié)構(gòu)文件)。
數(shù)據(jù)處理上
分表后數(shù)據(jù)都是存放在分表里,總表只是一個(gè)外殼,存取數(shù)據(jù)發(fā)生在一個(gè)一個(gè)的分表里面。分區(qū)則不存在分表的概念,分區(qū)只不過(guò)把存放數(shù)據(jù)的文件分成了許多小塊,分區(qū)后的表還是一張表,數(shù)據(jù)處理還是由自己來(lái)完成。
提高性能上
分表后,單表的并發(fā)能力提高了,磁盤(pán)I/O性能也提高了。分區(qū)突破了磁盤(pán)I/O瓶頸,想提高磁盤(pán)的讀寫(xiě)能力,來(lái)增加mysql性能。
在這一點(diǎn)上,分區(qū)和分表的測(cè)重點(diǎn)不同,分表重點(diǎn)是存取數(shù)據(jù)時(shí),如何提高mysql并發(fā)能力上;而分區(qū)呢,如何突破磁盤(pán)的讀寫(xiě)能力,從而達(dá)到提高mysql性能的目的。
實(shí)現(xiàn)的難易度上
分表的方法有很多,用merge來(lái)分表,是最簡(jiǎn)單的一種方式。這種方式和分區(qū)難易度差不多,并且對(duì)程序代碼來(lái)說(shuō)可以做到透明的。如果是用其他分表方式就比分區(qū)麻煩了。分區(qū)實(shí)現(xiàn)是比較簡(jiǎn)單的,建立分區(qū)表,跟建平常的表沒(méi)什么區(qū)別,并且對(duì)代碼端來(lái)說(shuō)是透明的。
一張表的查詢速度已經(jīng)慢到影響使用的時(shí)候。
表中的數(shù)據(jù)是分段的
對(duì)數(shù)據(jù)的操作往往只涉及一部分?jǐn)?shù)據(jù),而不是所有的數(shù)據(jù)
CREATE TABLE sales ( id INT AUTO_INCREMENT, amount DOUBLE NOT NULL, order_day DATETIME NOT NULL, PRIMARY KEY(id, order_day)) ENGINE=InnodbPARTITION BY RANGE(YEAR(order_day)) ( PARTITION p_2010 VALUES LESS THAN (2010), PARTITION p_2011 VALUES LESS THAN (2011), PARTITION p_2012 VALUES LESS THAN (2012),PARTITION p_catchall VALUES LESS THAN MAXVALUE);
一張表的查詢速度已經(jīng)慢到影響使用的時(shí)候。
當(dāng)頻繁插入或者聯(lián)合查詢時(shí),速度變慢。
分表的實(shí)現(xiàn)需要業(yè)務(wù)結(jié)合實(shí)現(xiàn)和遷移,較為復(fù)雜。
分表能夠解決單表數(shù)據(jù)量過(guò)大帶來(lái)的查詢效率下降的問(wèn)題,但是,卻無(wú)法給數(shù)據(jù)庫(kù)的并發(fā)處理能力帶來(lái)質(zhì)的提升。面對(duì)高并發(fā)的讀寫(xiě)訪問(wèn),當(dāng)數(shù)據(jù)庫(kù)master服務(wù)器無(wú)法承載寫(xiě)操作壓力時(shí),不管如何擴(kuò)展slave服務(wù)器,此時(shí)都沒(méi)有意義了。因此,我們必須換一種思路,對(duì)數(shù)據(jù)庫(kù)進(jìn)行拆分,從而提高數(shù)據(jù)庫(kù)寫(xiě)入能力,這就是所謂的分庫(kù)。
與分表策略相似,分庫(kù)可以采用通過(guò)一個(gè)關(guān)鍵字取模的方式,來(lái)對(duì)數(shù)據(jù)訪問(wèn)進(jìn)行路由,如下圖所示
“MySql中的分表、分庫(kù)、分片和分區(qū)的分析”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!