下文我給大家簡單講講關(guān)于MySQL數(shù)據(jù)處理采用的手段:分片分區(qū)分庫分表,大家之前了解過相關(guān)類似主題內(nèi)容嗎?感興趣的話就一起來看看這篇文章吧,相信看完mysql數(shù)據(jù)處理采用的手段:分片分區(qū)分庫分表對大家多少有點幫助吧。
大姚網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),大姚網(wǎng)站設(shè)計制作,有大型網(wǎng)站制作公司豐富經(jīng)驗。已為大姚超過千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站制作要多少錢,請找那個售后服務(wù)好的大姚做網(wǎng)站的公司定做!
分片(類似分庫)
分片是把數(shù)據(jù)庫橫向擴展(Scale Out)到多個物理節(jié)點上的一種有效的方式,其主要目的是為突破單節(jié)點數(shù)據(jù)庫云服務(wù)器的 I/O 能力限制,解決數(shù)據(jù)庫擴展性問題。Shard這個詞的意思是“碎片”。如果將一個數(shù)據(jù)庫當(dāng)作一塊大玻璃,將這塊玻璃打碎,那么每一小塊都稱為數(shù)據(jù)庫的碎片(DatabaseShard)。將整個數(shù)據(jù)庫打碎的過程就叫做分片,可以翻譯為分片。
形式上,分片可以簡單定義為將大數(shù)據(jù)庫分布到多個物理節(jié)點上的一個分區(qū)方案。每一個分區(qū)包含數(shù)據(jù)庫的某一部分,稱為一個片,分區(qū)方式可以是任意的,并不局限于傳統(tǒng)的水平分區(qū)和垂直分區(qū)。一個分片可以包含多個表的內(nèi)容甚至可以包含多個數(shù)據(jù)庫實例中的內(nèi)容。每個分片被放置在一個數(shù)據(jù)庫云服務(wù)器上。一個數(shù)據(jù)庫云服務(wù)器可以處理一個或多個分片的數(shù)據(jù)。系統(tǒng)中需要有云服務(wù)器進行查詢路由轉(zhuǎn)發(fā),負(fù)責(zé)將查詢轉(zhuǎn)發(fā)到包含該查詢所訪問數(shù)據(jù)的分片或分片集合節(jié)點上去執(zhí)行。
Scale Out/Scale Up 和 垂直切分/水平拆分
Mysql的擴展方案包括Scale Out和Scale Up兩種。
Scale Out(橫向擴展)是指Application可以在水平方向上擴展。一般對數(shù)據(jù)中心的應(yīng)用而言,Scale out指的是當(dāng)添加更多的機器時,應(yīng)用仍然可以很好的利用這些機器的資源來提升自己的效率從而達(dá)到很好的擴展性。
Scale Up(縱向擴展)是指Application可以在垂直方向上擴展。一般對單臺機器而言,Scale Up值得是當(dāng)某個計算節(jié)點(機器)添加更多的CPU Cores,存儲設(shè)備,使用更大的內(nèi)存時,應(yīng)用可以很充分的利用這些資源來提升自己的效率從而達(dá)到很好的擴展性。
MySql的Sharding策略包括垂直切分和水平切分兩種。
垂直(縱向)拆分:是指按功能模塊拆分,以解決表與表之間的io競爭。比如分為訂單庫、商品庫、用戶庫...這種方式多個數(shù)據(jù)庫之間的表結(jié)構(gòu)不同。
水平(橫向)拆分:將同一個表的數(shù)據(jù)進行分塊保存到不同的數(shù)據(jù)庫中,來解決單表中數(shù)據(jù)量增長出現(xiàn)的壓力。這些數(shù)據(jù)庫中的表結(jié)構(gòu)完全相同。
表結(jié)構(gòu)設(shè)計垂直切分。常見的一些場景包括
a).大字段的垂直切分。單獨將大字段建在另外的表中,提高基礎(chǔ)表的訪問性能,原則上在性能關(guān)鍵的應(yīng)用中應(yīng)當(dāng)避免數(shù)據(jù)庫的大字段
b). 按照使用用途垂直切分。例如企業(yè)物料屬性,可以按照基本屬性、銷售屬性、采購屬性、生產(chǎn)制造屬性、財務(wù)會計屬性等用途垂直切分
c). 按照訪問頻率垂直切分。例如電子商務(wù)、Web 2.0系統(tǒng)中,如果用戶屬性設(shè)置非常多,可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開
表結(jié)構(gòu)設(shè)計水平切分。常見的一些場景包括
a). 比如在線電子商務(wù)網(wǎng)站,訂單表數(shù)據(jù)量過大,按照年度、月度水平切分
b). Web 2.0網(wǎng)站注冊用戶、在線活躍用戶過多,按照用戶ID范圍等方式,將相關(guān)用戶以及該用戶緊密關(guān)聯(lián)的表做水平切分
c). 例如論壇的置頂帖子,因為涉及到分頁問題,每頁都需要顯示置頂貼,這種情況可以把置頂貼水平切分開來,避免取置頂帖子時從所有帖子的表中讀取
分表和分區(qū)
分表從表面意思說就是把一張表分成多個小表,分區(qū)則是把一張表的數(shù)據(jù)分成N多個區(qū)塊,這些區(qū)塊可以在同一個磁盤上,也可以在不同的磁盤上。
分表和分區(qū)的區(qū)別
1,實現(xiàn)方式上
mysql的分表是真正的分表,一張表分成很多表后,每一個小表都是完正的一張表,都對應(yīng)三個文件(MyISAM引擎:一個.MYD數(shù)據(jù)文件,.MYI索引文件,.frm表結(jié)構(gòu)文件)。
2,數(shù)據(jù)處理上
分表后數(shù)據(jù)都是存放在分表里,總表只是一個外殼,存取數(shù)據(jù)發(fā)生在一個一個的分表里面。分區(qū)則不存在分表的概念,分區(qū)只不過把存放數(shù)據(jù)的文件分成了許多小塊,分區(qū)后的表還是一張表,數(shù)據(jù)處理還是由自己來完成。
3,提高性能上
分表后,單表的并發(fā)能力提高了,磁盤I/O性能也提高了。分區(qū)突破了磁盤I/O瓶頸,想提高磁盤的讀寫能力,來增加mysql性能。
在這一點上,分區(qū)和分表的測重點不同,分表重點是存取數(shù)據(jù)時,如何提高mysql并發(fā)能力上;而分區(qū)呢,如何突破磁盤的讀寫能力,從而達(dá)到提高mysql性能的目的。
4,實現(xiàn)的難易度上
分表的方法有很多,用merge來分表,是最簡單的一種方式。這種方式和分區(qū)難易度差不多,并且對程序代碼來說可以做到透明的。如果是用其他分表方式就比分區(qū)麻煩了。分區(qū)實現(xiàn)是比較簡單的,建立分區(qū)表,跟建平常的表沒什么區(qū)別,并且對代碼端來說是透明的。
分區(qū)的適用場景
1. 一張表的查詢速度已經(jīng)慢到影響使用的時候。
2.表中的數(shù)據(jù)是分段的
3.對數(shù)據(jù)的操作往往只涉及一部分?jǐn)?shù)據(jù),而不是所有的數(shù)據(jù)
CREATE TABLE sales ( id INT AUTO_INCREMENT, amount DOUBLE NOT NULL, order_day DATETIME NOT NULL, PRIMARY KEY(id, order_day) ) ENGINE=Innodb PARTITION BY RANGE(YEAR(order_day)) ( PARTITION p_2010 VALUES LESS THAN (2010), PARTITION p_2011 VALUES LESS THAN (2011), PARTITION p_2012 VALUES LESS THAN (2012), PARTITION p_catchall VALUES LESS THAN MAXVALUE);
分表的適用場景
1. 一張表的查詢速度已經(jīng)慢到影響使用的時候。
2.當(dāng)頻繁插入或者聯(lián)合查詢時,速度變慢。
分表的實現(xiàn)需要業(yè)務(wù)結(jié)合實現(xiàn)和遷移,較為復(fù)雜。
分表與分庫
分表能夠解決單表數(shù)據(jù)量過大帶來的查詢效率下降的問題,但是,卻無法給數(shù)據(jù)庫的并發(fā)處理能力帶來質(zhì)的提升。面對高并發(fā)的讀寫訪問,當(dāng)數(shù)據(jù)庫master云服務(wù)器無法承載寫操作壓力時,不管如何擴展slave云服務(wù)器,此時都沒有意義了。因此,我們必須換一種思路,對數(shù)據(jù)庫進行拆分,從而提高數(shù)據(jù)庫寫入能力,這就是所謂的分庫。
與分表策略相似,分庫可以采用通過一個關(guān)鍵字取模的方式,來對數(shù)據(jù)訪問進行路由.
大家覺得mysql數(shù)據(jù)處理采用的手段:分片分區(qū)分庫分表這篇文章怎么樣,是否有所收獲。如果想要了解更多相關(guān),可以繼續(xù)關(guān)注我們的行業(yè)資訊板塊。