mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？

mysql在常規(guī)配置下，一般只能承受2000萬的數(shù)據(jù)量(同時(shí)讀寫，且表中有大文本字段，單臺(tái)服務(wù)器)。現(xiàn)在超過1億，并不斷增加的情況下，建議如下處理：

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名注冊(cè)、網(wǎng)站空間、營(yíng)銷軟件、網(wǎng)站建設(shè)、沙坪壩網(wǎng)站維護(hù)、網(wǎng)站推廣。

1分表?？梢园磿r(shí)間，或按一定的規(guī)則拆分，做到查詢某一條數(shù)據(jù)庫，盡量在一個(gè)子表中即可。這是最有效的方法

2讀寫分離。尤其是寫入，放在新表中，定期進(jìn)行同步。如果其中記錄不斷有update，最好將寫的數(shù)據(jù)放在redis中，定期同步

3表的大文本字段分離出來，成為獨(dú)立的新表。大文本字段，可以使用NOSQL數(shù)據(jù)庫

4優(yōu)化架構(gòu)，或優(yōu)化SQL查詢，避免聯(lián)表查詢，盡量不要用count(*),in，遞歸等消耗性能的語句

5用內(nèi)存緩存，或在前端讀的時(shí)候，增加緩存數(shù)據(jù)庫。重復(fù)讀取時(shí)，直接從緩存中讀取。

上面是低成本的管理方法，基本幾臺(tái)服務(wù)器即可搞定，但是管理起來麻煩一些。

當(dāng)然，如果整體數(shù)據(jù)量特別大的話，也不在乎投入費(fèi)用的話，用集群吧，用TIDB吧

mysql 數(shù)據(jù)量超過百萬后怎么處理

我們經(jīng)常會(huì)遇到操作一張大表，發(fā)現(xiàn)操作時(shí)間過長(zhǎng)或影響在線業(yè)務(wù)了，想要回退大表操作的場(chǎng)景。在我們停止大表操作之后，等待回滾是一個(gè)很漫長(zhǎng)的過程，盡管你可能對(duì)知道一些縮短時(shí)間的方法，處于對(duì)生產(chǎn)環(huán)境數(shù)據(jù)完整性的敬畏，也會(huì)選擇不做介入。最終選擇不作為的原因大多源于對(duì)操作影響的不確定性。實(shí)踐出真知，下面針對(duì)兩種主要提升事務(wù)回滾速度的方式進(jìn)行驗(yàn)證，一種是提升操作可用內(nèi)存空間，一種是通過停實(shí)例，禁用 redo 回滾方式進(jìn)行進(jìn)行驗(yàn)證。

仔細(xì)閱讀過官方手冊(cè)的同學(xué)，一定留意到了對(duì)于提升大事務(wù)回滾效率，官方提供了兩種方法：一是增加 innodb_buffer_pool_size 參數(shù)大小，二是合理利用 innodb_force_recovery=3 參數(shù)，跳過事務(wù)回滾過程。第一種方式比較溫和，innodb_buffer_pool_size 參數(shù)是可以動(dòng)態(tài)調(diào)整的，可行性也較高。第二種方式相較之下較暴力，但效果較好。

兩種方式各有自己的優(yōu)點(diǎn)，第一種方式對(duì)線上業(yè)務(wù)系統(tǒng)影響較小，不會(huì)中斷在線業(yè)務(wù)。第二種方式效果更顯著，會(huì)短暫影響業(yè)務(wù)連續(xù)，回滾所有沒有提交的事務(wù)。

mysql 如何處理億級(jí)數(shù)據(jù)

1、數(shù)據(jù)表 collect ( id, title ,info ,vtype) 就這4個(gè)字段，其中 title 用定長(zhǎng)，info 用text, id 是逐漸，vtype是tinyint，vtype是索引。這是一個(gè)基本的新聞系統(tǒng)的簡(jiǎn)單模型?，F(xiàn)在往里面填充數(shù)據(jù)，填充10萬篇新聞。　

2、最后collect 為 10萬條記錄，數(shù)據(jù)庫表占用硬盤1.6G。OK ,看下面這條sql語句：select id,title from collect limit 1000,10; 很快；基本上0.01秒就OK，再看下面的select id,title from collect limit 90000,10; 從9萬條開始分頁。

3、8-9秒完成。

4、看下面一條語句:select id from collect order by id limit 90000,10; 很快，0.04秒就OK。因?yàn)橛昧薸d主鍵做索引當(dāng)然快。