一、背景
網(wǎng)站建設哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、微信小程序開發(fā)、集團企業(yè)網(wǎng)站建設等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了西平免費建站歡迎大家使用！
話說風和日麗的一天，為提高隨著業(yè)務增長的大表（3510449行吧）的訪問效率，于是決定對表分區(qū)，記錄如下。
二、實操
結(jié)合業(yè)務，若干條記錄會集中在一個日期，查詢時也往往只查詢一個日期內(nèi)的數(shù)據(jù)，于是選取分區(qū)字段為時間。
創(chuàng)建分區(qū) 比如
CREATE TABLE message_all (
id int(10) NOT NULL AUTO_INCREMENT,
......
createtime datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時間'
PRIMARY KEY ( id , createtime )
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE (YEAR(createtime))
(PARTITION p2015 VALUES LESS THAN (2016) ENGINE = InnoDB,
PARTITION p2016 VALUES LESS THAN (2017) ENGINE = InnoDB,
PARTITION p2017 VALUES LESS THAN (2018) ENGINE = InnoDB,
PARTITION p2018 VALUES LESS THAN MAXVALUE ENGINE = InnoDB)
不過我們表已經(jīng)有了當然不能這么建，除非你想導一次數(shù)據(jù)。
如下操作 ：
1、
ALTER TABLE message_all PARTITION BY RANGE (to_days(createtime))
(
PARTITION p2015 VALUES LESS THAN (to_days('2016-01-01')),
PARTITION p2016 VALUES LESS THAN (to_days('2017-01-01')),
PARTITION p2017 VALUES LESS THAN (to_days('2018-01-01')),
PARTITION p2018 VALUES LESS THAN MAXVALUE
);
或者
2、ALTER TABLE message_all PARTITION BY RANGE (YEAR(createtime))
(
PARTITION p2015 VALUES LESS THAN (YEAR('2016-01-01'))
);
然后追加。
ALTER TABLE message_all ADD PARTITION
(
PARTITION p2016 VALUES LESS THAN (YEAR('2017-01-01')),
PARTITION p2017 VALUES LESS THAN (YEAR('2018-01-01')),
PARTITION p2018 VALUES LESS THAN MAXVALUE
);
這里會有幾種錯誤情況：
1、ALTER TABLE message_all PARTITION BY RANGE (to_days(createtime)) ;
[Err] 1492 - For RANGE partitions each partition must be defined
解釋：必須指定至少一個分區(qū)。
2、[Err] 1492 - A PRIMARY KEY must include all columns in the table's partitioning function
解釋：分區(qū)字段必須是主鍵之一。
3、[Err] 1492 - Constant, random or timezone-dependent expressions in (sub)partitioning function are not allowed
解釋：分區(qū)字段為timestamp，換成datetime。
4、[Err] 1526 - Table has no partition for value xxxx
解釋：用追加方式第一次必須覆蓋目前所有數(shù)據(jù)。
總結(jié)：
1、創(chuàng)建時必須指定至少一個分區(qū)。
2、key必須為主鍵之一。
3、RANGE處必須為INT型，時間字段用函數(shù)轉(zhuǎn)——YEAR()、YEARWEEK()、TO_DAYS()。
4、THAN處必須為INT型，時間字段用函數(shù)轉(zhuǎn)——TO_DAYS、TO_SECONDS()、UNIX_TIMESTAMP()。
5、它就是以兩個INT比大小劃分的文件。
6、所有ENGINE必須一樣。
7、范圍分區(qū)添加只能在最大值后面追加。
8、分區(qū)是有上限的貌似1024個。
用到的其他操作
1、刪除分區(qū)（直接扔掉分區(qū)文件，數(shù)據(jù)也沒了）
ALTER TABLE message_all DROP PARTITION p2016;
2、清空分區(qū)數(shù)據(jù)
ALTER TABLE message_all TRUNCATE PARTITION p2017;
3、重定義（可實現(xiàn)：分區(qū)拆分、合并、重命名）
ALTER TABLE message_all REORGANIZE PARTITION p201601,p201602,p201603,p201604 INTO
(
PARTITION p2016012 VALUES less than(TO_DAYS('2016-03-01')),
PARTITION p2016034 VALUES less than(TO_DAYS('2016-05-01'))
);
檢查/查看你的分區(qū)
1、SHOW TABLE STATUS LIKE 'message_all';
2、SELECT * FROM information_schema.partitions WHERE table_name='message_all';
3、SHOW CREATE TABLE message_all;
4、EXPLAIN SELECT COUNT(1) FROM message_all WHERE createtime= '2016-01-01' AND createtime '2016-12-30';如果用到了分區(qū)partitions里會有顯示。
5、指定分區(qū)查
SELECT COUNT(1) FROM message_all PARTITION (p2016) 表別名 WHERE ......;
到這里就結(jié)束啦，土豆白。
一些概念
水平分區(qū)Partition有以下幾種模式
需要指定的每個分區(qū)數(shù)據(jù)的存儲條件。分區(qū)的字段一定要是主鍵!按照生日中的月份，分成春夏秋冬四個分區(qū)。
下面新建一個list_1表,
分區(qū)創(chuàng)建成功之后,查看文件信息
注意:chun和dong兩個分區(qū),分別放入了數(shù)據(jù).這就說明我們的分區(qū)生效了.
1 list分區(qū)就是根據(jù)分區(qū)條件,將數(shù)據(jù)分為若干區(qū),也會生成相應的數(shù)據(jù)文件.
2 這個list()中也可以直接指定字段,但是這個字段一定要是整數(shù).
分表是分散數(shù)據(jù)庫壓力的好方法。
分表，最直白的意思，就是將一個表結(jié)構(gòu)分為多個表，然后，可以再同一個庫里，也可以放到不同的庫。
當然，首先要知道什么情況下，才需要分表。個人覺得單表記錄條數(shù)達到百萬到千萬級別時就要使用分表了。
分表的分類
**1、縱向分表**
將本來可以在同一個表的內(nèi)容，人為劃分為多個表。（所謂的本來，是指按照關系型數(shù)據(jù)庫的第三范式要求，是應該在同一個表的。）
分表理由：根據(jù)數(shù)據(jù)的活躍度進行分離，（因為不同活躍的數(shù)據(jù)，處理方式是不同的）
案例：
對于一個博客系統(tǒng)，文章標題，作者，分類，創(chuàng)建時間等，是變化頻率慢，查詢次數(shù)多，而且最好有很好的實時性的數(shù)據(jù)，我們把它叫做冷數(shù)據(jù)。而博客的瀏覽量，回復數(shù)等，類似的統(tǒng)計信息，或者別的變化頻率比較高的數(shù)據(jù)，我們把它叫做活躍數(shù)據(jù)。所以，在進行數(shù)據(jù)庫結(jié)構(gòu)設計的時候，就應該考慮分表，首先是縱向分表的處理。
這樣縱向分表后：
首先存儲引擎的使用不同，冷數(shù)據(jù)使用MyIsam 可以有更好的查詢數(shù)據(jù)?；钴S數(shù)據(jù)，可以使用Innodb ,可以有更好的更新速度。
其次，對冷數(shù)據(jù)進行更多的從庫配置，因為更多的操作時查詢，這樣來加快查詢速度。對熱數(shù)據(jù)，可以相對有更多的主庫的橫向分表處理。
其實，對于一些特殊的活躍數(shù)據(jù)，也可以考慮使用memcache ,redis之類的緩存，等累計到一定量再去更新數(shù)據(jù)庫。或者mongodb 一類的nosql 數(shù)據(jù)庫，這里只是舉例，就先不說這個。
**2、橫向分表**
字面意思，就可以看出來，是把大的表結(jié)構(gòu)，橫向切割為同樣結(jié)構(gòu)的不同表，如，用戶信息表，user_1,user_2等。表結(jié)構(gòu)是完全一樣，但是，根據(jù)某些特定的規(guī)則來劃分的表，如根據(jù)用戶ID來取模劃分。
分表理由：根據(jù)數(shù)據(jù)量的規(guī)模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。
案例：同上面的例子，博客系統(tǒng)。當博客的量達到很大時候，就應該采取橫向分割來降低每個單表的壓力，來提升性能。例如博客的冷數(shù)據(jù)表，假如分為100個表，當同時有100萬個用戶在瀏覽時，如果是單表的話，會進行100萬次請求，而現(xiàn)在分表后，就可能是每個表進行1萬個數(shù)據(jù)的請求（因為，不可能絕對的平均，只是假設），這樣壓力就降低了很多很多。
延伸：為什么要分表和分區(qū)？
日常開發(fā)中我們經(jīng)常會遇到大表的情況，所謂的大表是指存儲了百萬級乃至千萬級條記錄的表。這樣的表過于龐大，導致數(shù)據(jù)庫在查詢和插入的時候耗時太長，性能低下，如果涉及聯(lián)合查詢的情況，性能會更加糟糕。分表和表分區(qū)的目的就是減少數(shù)據(jù)庫的負擔，提高數(shù)據(jù)庫的效率，通常點來講就是提高表的增刪改查效率。
什么是分表？
分表是將一個大表按照一定的規(guī)則分解成多張具有獨立存儲空間的實體表，我們可以稱為子表，每個表都對應三個文件，MYD數(shù)據(jù)文件，.MYI索引文件，.frm表結(jié)構(gòu)文件。這些子表可以分布在同一塊磁盤上，也可以在不同的機器上。app讀寫的時候根據(jù)事先定義好的規(guī)則得到對應的子表名，然后去操作它。
什么是分區(qū)？
分區(qū)和分表相似，都是按照規(guī)則分解表。不同在于分表將大表分解為若干個獨立的實體表，而分區(qū)是將數(shù)據(jù)分段劃分在多個位置存放，可以是同一塊磁盤也可以在不同的機器。分區(qū)后，表面上還是一張表，但數(shù)據(jù)散列到多個位置了。app讀寫的時候操作的還是大表名字，db自動去組織分區(qū)的數(shù)據(jù)。
**MySQL分表和分區(qū)有什么聯(lián)系呢？**
1、都能提高mysql的性高，在高并發(fā)狀態(tài)下都有一個良好的表現(xiàn)。
2、分表和分區(qū)不矛盾，可以相互配合的，對于那些大訪問量，并且表數(shù)據(jù)比較多的表，我們可以采取分表和分區(qū)結(jié)合的方式（如果merge這種分表方式，不能和分區(qū)配合的話，可以用其他的分表試），訪問量不大，但是表數(shù)據(jù)很多的表，我們可以采取分區(qū)的方式等。
3、分表技術(shù)是比較麻煩的，需要手動去創(chuàng)建子表，app服務端讀寫時候需要計算子表名。采用merge好一些，但也要創(chuàng)建子表和配置子表間的union關系。
4、表分區(qū)相對于分表，操作方便，不需要創(chuàng)建子表。
我們知道對于大型的互聯(lián)網(wǎng)應用，數(shù)據(jù)庫單表的數(shù)據(jù)量可能達到千萬甚至上億級別，同時面臨這高并發(fā)的壓力。Master-Slave結(jié)構(gòu)只能對數(shù)據(jù)庫的讀能力進行擴展，寫操作還是集中在Master中，Master并不能無限制的掛接Slave庫，如果需要對數(shù)據(jù)庫的吞吐能力進行進一步的擴展，可以考慮采用分庫分表的策略。
**1、分表**
在分表之前，首先要選中合適的分表策略（以哪個字典為分表字段，需要將數(shù)據(jù)分為多少張表），使數(shù)據(jù)能夠均衡的分布在多張表中，并且不影響正常的查詢。在企業(yè)級應用中，往往使用org_id(組織主鍵)做為分表字段，在互聯(lián)網(wǎng)應用中往往是userid。在確定分表策略后，當數(shù)據(jù)進行存儲及查詢時，需要確定到哪張表里去查找數(shù)據(jù)，
數(shù)據(jù)存放的數(shù)據(jù)表 = 分表字段的內(nèi)容 % 分表數(shù)量
**2、分庫**
分表能夠解決單表數(shù)據(jù)量過大帶來的查詢效率下降的問題，但是不能給數(shù)據(jù)庫的并發(fā)訪問帶來質(zhì)的提升，面對高并發(fā)的寫訪問，當Master無法承擔高并發(fā)的寫入請求時，不管如何擴展Slave服務器，都沒有意義了。我們通過對數(shù)據(jù)庫進行拆分，來提高數(shù)據(jù)庫的寫入能力，即所謂的分庫。分庫采用對關鍵字取模的方式，對數(shù)據(jù)庫進行路由。
數(shù)據(jù)存放的數(shù)據(jù)庫=分庫字段的內(nèi)容%數(shù)據(jù)庫的數(shù)量
**3、即分表又分庫**
數(shù)據(jù)庫分表可以解決單表海量數(shù)據(jù)的查詢性能問題，分庫可以解決單臺數(shù)據(jù)庫的并發(fā)訪問壓力問題。
當數(shù)據(jù)庫同時面臨海量數(shù)據(jù)存儲和高并發(fā)訪問的時候，需要同時采取分表和分庫策略。一般分表分庫策略如下：
中間變量 = 關鍵字%（數(shù)據(jù)庫數(shù)量*單庫數(shù)據(jù)表數(shù)量）
庫 = 取整（中間變量/單庫數(shù)據(jù)表數(shù)量）
表 = （中間變量%單庫數(shù)據(jù)表數(shù)量）
實例：
1、分庫分表
很明顯，一個主表（也就是很重要的表，例如用戶表）無限制的增長勢必嚴重影響性能，分庫與分表是一個很不錯的解決途徑，也就是性能優(yōu)化途徑，現(xiàn)在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢，同事的做法是將其散列到100個表中，分別從members0到members99，然后根據(jù)mid分發(fā)記錄到這些表中，牛逼的代碼大概是這樣子：
復制代碼 代碼如下:
?php
for($i=0;$i 100; $i++ ){
//echo "CREATE TABLE db2.members{$i} LIKE db1.members
";
echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}
";
}
?
2、不停機修改mysql表結(jié)構(gòu)
同樣還是members表，前期設計的表結(jié)構(gòu)不盡合理，隨著數(shù)據(jù)庫不斷運行，其冗余數(shù)據(jù)也是增長巨大，同事使用了下面的方法來處理：
先創(chuàng)建一個臨時表：
/*創(chuàng)建臨時表*/
CREATE TABLE members_tmp LIKE members
然后修改members_tmp的表結(jié)構(gòu)為新結(jié)構(gòu)，接著使用上面那個for循環(huán)來導出數(shù)據(jù)，因為1000萬的數(shù)據(jù)一次性導出是不對的，mid是主鍵，一個區(qū)間一個區(qū)間的導，基本是一次導出5萬條吧，這里略去了
接著重命名將新表替換上去：
/*這是個頗為經(jīng)典的語句哈*/
RENAME TABLE members TO members_bak,members_tmp TO members;
就是這樣，基本可以做到無損失，無需停機更新表結(jié)構(gòu)，但實際上RENAME期間表是被鎖死的，所以選擇在線少的時候操作是一個技巧。經(jīng)過這個操作，使得原先8G多的表，一下子變成了2G多。
對用戶來說，分區(qū)表是一個獨立的邏輯表，但是底層由多個物理子表組成，實現(xiàn)分區(qū)的代碼實際上是通過對一組底層表的對象封裝，但對SQL層來說是一個完全封裝底層的黑盒子。
MySQL實現(xiàn)分區(qū)的方式也意味著索引也是按照分區(qū)的子表定義， 沒有全局索引 。
分區(qū)的意思是指將同一表中不同行的記錄分配到不同的物理文件中 ，幾個分區(qū)就有幾個.idb文件。MySQL數(shù)據(jù)庫的分區(qū)是局部分區(qū)索引，一個分區(qū)中既存了數(shù)據(jù)，又放了索引。也就是說，每個區(qū)的聚集索引和非聚集索引都放在各自區(qū)的（不同的物理文件）。
1、可以讓單表 存儲更多的數(shù)據(jù) 。
2、 分區(qū)表的數(shù)據(jù)更容易維護 ，可以通過刪除與那些數(shù)據(jù)有關的分區(qū)，更容易刪除數(shù)據(jù)，也可以增加新的分區(qū)來支持新插入的數(shù)據(jù)。另外，還可以對一個獨立分區(qū)進行優(yōu)化、檢查、修復等操作。
3、部分查詢能夠從查詢條件確定只落在少數(shù)分區(qū)上， 查詢速度會很快 。
4、通過跨多個磁盤來分散數(shù)據(jù)查詢，來 獲得更大的查詢吞吐量 。
要使定時事件起作用，MySQL的常量GLOBAL event_scheduler必須為on或者是1。
1、查看scheduler的當前狀態(tài)：
2、修改scheduler狀態(tài)為打開(0:off , 1:on)：
3、臨時打開定時器(四種方法)：
4、永久生效的方法，修改配置文件my.cnf
5、臨時開啟某個事件
6、臨時關閉某個事件
CREATE TABLE employees ( id INT NOT NULL, /SPAN/p fname VARCHAR(30), /SPAN/p lname VARCHAR(30), /SPAN/p hired DATE NOT NULL DEFAULT '1970-01-01', /SPAN/pseparated DATE NOT NULL DEFAULT '9999-12-31', /SPAN/p job_code INT NOT NULL, /SPAN/pstore_id INT NOT NULL /SPAN/p) PARTITION BY RANGE (store_id) ( /SPAN/p PARTITION p0 VALUES LESS THAN (6), /SPAN/p PARTITION p1 VALUES LESS THAN (11), /SPAN/p PARTITION p2 VALUES LESS THAN (16), /SPAN/pPARTITION p3 VALUES LESS THAN MAXVALUE /SPAN/p)； 這就是根據(jù)store_id的值來進行分區(qū)你也可以參看相關資料詳細了解：
對底層表的封裝，意味著索引也是按照分區(qū)的子表定義的，而沒有全局索引。（所以即使有唯一性索引，在不同子表中可能會有重復數(shù)據(jù)）
單表數(shù)據(jù)量超大時索引失效
將單表分區(qū)成數(shù)個區(qū)域，通過分區(qū)函數(shù)，可以快速地定位到數(shù)據(jù)的區(qū)域。而且相比于索引，分區(qū)不需要額外的數(shù)據(jù)結(jié)構(gòu)記錄每個分區(qū)的數(shù)據(jù)，代價更低。只需要一個簡單的表達式就可以指向正確的分區(qū)
可以只是用簡單的分區(qū)方式存放表，不要任何索引，只要將查詢定位到需要的大致數(shù)據(jù)位置，通過where條件，將需要的數(shù)據(jù)限制在少數(shù)分區(qū)中，則效率是很高的。WARNNING：查詢需要掃描的分區(qū)個數(shù)限制在一個很小的數(shù)量。
如果數(shù)據(jù)有明顯的“熱點”，可以將熱點數(shù)據(jù)單獨放在一個分區(qū)，讓這個分區(qū)的數(shù)據(jù)能夠有機會都緩存在內(nèi)存中。
如果分區(qū)表達式的值可以是NULL：第一個分區(qū)會使一個特殊分區(qū)。以partition by range year(order_date)為例，所有在order_date列為NULL或者非法值的數(shù)據(jù)都會被放到第一個分區(qū)。那么所有的查詢在定位分區(qū)后都會增加掃描第一個分區(qū)。而且如果第一個分區(qū)很大的時候，查詢的成本會被這個“拖油瓶”分區(qū)無情的增加。
創(chuàng)建一個無用的第一分區(qū)可以解決這個問題，partition p_nulls values less than (0);
對于分區(qū)列和索引列不匹配的查詢，雖然查詢能夠使用索引，但是無法通過分區(qū)定位到目標數(shù)據(jù)的分區(qū)（也就是數(shù)據(jù)分布相對更加分散）,需要遍歷每個分區(qū)內(nèi)的索引，除非查詢中的條件同時也包含分區(qū)條件。所以期望分區(qū)條件范圍被熱門查詢索引所包含。
對于 范圍分區(qū) 技術(shù)，需要適當限制分區(qū)的數(shù)量，否則對于大量數(shù)據(jù)批量導入的場景，選擇分區(qū)的成本過高。對于大多數(shù)系統(tǒng)，100個左右的分區(qū)是沒有問題的。
重慶分公司
重慶分公司
