真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網站制作重慶分公司

mongodb分片不均衡的原因-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商,新人活動買多久送多久,劃算不套路!

成都創(chuàng)新互聯(lián)公司主要從事成都網站制作、網站設計、網頁設計、企業(yè)做網站、公司建網站等業(yè)務。立足成都服務銀州,十年網站建設經驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:18982081108

小編給大家分享一下mongodb分片不均衡的原因,相信大部分人都還不怎么了解,因此分享這邊文章給大家學習,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去學習方法吧!

今天接到一個用戶反饋的問題,sharding集群,使用wiredtiger引擎,某個DB下集合全部用的hash分片,show dbs 發(fā)現(xiàn)其中一個shard里該DB的大小,跟其他的集合差別很大,其他基本在60G左右,而這個shard在200G左右?

由于這個DB下有大量的集合及索引,一眼也看不出問題,寫了個腳本分析了一下,得到如下結論:

(1)somedb下所有集合都是hash分片,并且chunk的分布是比較均勻的。

(2)show dbs反應的是集合及索引對應的物理文件大小。

(3)集合的數(shù)據在各個shard上邏輯總大小是接近的,只有shard0占用的物理空間比其他大很多。

從shard0上能找到大量moveChunk 的記錄,猜測應該是集合的數(shù)據在沒有開啟分片的情況下寫到shard0了,然后開啟分片后,從shard0遷移到其他shard了,跟用戶確認的確有一批集合是最開始沒有分片。

所以這個問題就轉換成了,為什么復制集里集合的邏輯空間與物理空間不一致?即collection stat 里 size 與 storageSize 的區(qū)別。

mymongo:PRIMARY> db.coll.stats()
{
    "ns" : "test.coll",
    "size" : 30526664,
    "count" : 500808,
    "avgObjSize" : 33,
    "storageSize" : 19521536,
    "capped" : false,
    ....
}

邏輯存儲空間與物理存儲空間有差距的主要原因:

(1)存儲引擎存儲時,需要記錄一些額外的元數(shù)據信息,這會導致物理空間總和比邏輯空間略大。

(2)存儲引擎可能支持數(shù)據壓縮,邏輯的數(shù)據塊存儲到磁盤時,經過壓縮可能比邏輯數(shù)據小很多了(具體要看數(shù)據的特性,極端情況下壓縮后數(shù)據變大也是有可能的)。

(3)引擎對刪除空間的處理,很多存儲引擎在刪除數(shù)據時,考慮到效率,都不會立即去挪動數(shù)據回收刪除的存儲空間,這樣可能導致刪除很多文檔后,邏輯空間變小,但物理空間并沒有變小。如下圖所示,灰色的文檔刪除表示被刪除。刪除的空間產生很多存儲碎片,這些碎片空間不會立即被回收,但有新文檔寫入時,可以立即被復用。

而上述case里,集合數(shù)據先分到一個shard,然后啟用分片后,遷移一部分到其他shard,就是一個典型的產生大量存儲碎片的例子。存儲碎片對服務通常影響不大,但如果因為空間不夠用了需要回收,如何去強制的回收這些碎片空間?

    ·數(shù)據清理掉重新加入復制集同步數(shù)據,或者直接執(zhí)行resync命令 (確保有還有其他的數(shù)據備份)

    ·對集合調用 compact 命令

以上是mongodb分片不均衡的原因的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注創(chuàng)新互聯(lián)-成都網站建設公司行業(yè)資訊頻道!


本文名稱:mongodb分片不均衡的原因-創(chuàng)新互聯(lián)
文章轉載:http://weahome.cn/article/pdsgi.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部