這篇文章主要介紹了Rabbitmq如何解決消息積壓?jiǎn)栴},具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比寶雞網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式寶雞網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋寶雞地區(qū)。費(fèi)用合理售后完善,10余年實(shí)體公司更值得信賴。
1)先修復(fù)consumer的問題,確保其恢復(fù)消費(fèi)速度,然后將現(xiàn)有cnosumer都停掉
2)新建一個(gè)topic,partition是原來的10倍,臨時(shí)建立好原先10倍或者20倍的queue數(shù)量
3)然后寫一個(gè)臨時(shí)的分發(fā)數(shù)據(jù)的consumer程序,這個(gè)程序部署上去消費(fèi)積壓的數(shù)據(jù),
消費(fèi)之后不做耗時(shí)的處理,直接均勻輪詢寫入臨時(shí)建立好的10倍數(shù)量的queue
4)接著臨時(shí)征用10倍的機(jī)器來部署consumer,每一批consumer消費(fèi)一個(gè)臨時(shí)queue的數(shù)據(jù)
5)這種做法相當(dāng)于是臨時(shí)將queue資源和consumer資源擴(kuò)大10倍,以正常的10倍速度來消費(fèi)數(shù)據(jù)
6)等快速消費(fèi)完積壓數(shù)據(jù)之后,得恢復(fù)原先部署架構(gòu),重新用原先的consumer機(jī)器來消費(fèi)消息
如果消息在queue中積壓超過一定的時(shí)間就會(huì)被rabbitmq給清理掉,這個(gè)數(shù)據(jù)就沒了。
那這就是第二個(gè)坑了。這就不是說數(shù)據(jù)會(huì)大量積壓在mq里,而是大量的數(shù)據(jù)會(huì)直接搞丟
丟了大量的消息。我們可以采取一個(gè)方案,就是批量重導(dǎo),這個(gè)時(shí)候我們就開始寫程序,
將丟失的那批數(shù)據(jù),寫個(gè)臨時(shí)程序,一點(diǎn)一點(diǎn)的查出來,然后重新灌入mq里面去,把白天丟的數(shù)據(jù)給他補(bǔ)回來
RAM node 僅將 fabric(即 queue、exchange 和 binding等 RabbitMQ基礎(chǔ)構(gòu)件)相關(guān)元數(shù)據(jù)保存到內(nèi)存中,但 disk node 會(huì)在內(nèi)存和磁盤中均進(jìn)行存儲(chǔ)。RAM node 上唯一會(huì)存儲(chǔ)到磁盤上的元數(shù)據(jù)是 cluster 中使用的 disk node 的地址。要求在 RabbitMQ cluster 中至少存在一個(gè) disk node 。
vhost 可以理解為虛擬 broker ,即 mini-RabbitMQ server。其內(nèi)部均含有獨(dú)立的 queue、exchange 和 binding 等,但最最重要的是,其擁有獨(dú)立的權(quán)限系統(tǒng),可以做到 vhost 范圍的用戶控制。當(dāng)然,從 RabbitMQ 的全局角度,vhost 可以作為不同權(quán)限隔離的手段(一個(gè)典型的例子就是不同的應(yīng)用可以跑在不同的 vhost 中)。
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“Rabbitmq如何解決消息積壓?jiǎn)栴}”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來學(xué)習(xí)!