這篇文章主要介紹“如何解決spring kafka新增消費機器后,新增機器一直無法消費的問題”,在日常操作中,相信很多人在如何解決spring kafka新增消費機器后,新增機器一直無法消費的問題問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”如何解決spring kafka新增消費機器后,新增機器一直無法消費的問題”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、網(wǎng)站制作服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)彭水苗族土家族免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了成百上千家企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。
kafka分區(qū)線上是24個,消費集群機器數(shù)量也是24臺,正常是1對1消費的。
由于消費數(shù)據(jù)積壓,需要擴容消費集群機器,新擴容24臺消費集群機器后,新擴容的機器始終無法消費。
線上正在消費的24臺機器,停掉部分機器后,新擴容的24臺機器相應(yīng)數(shù)量的加入負載后,依舊無法消費數(shù)據(jù)。
經(jīng)過定位,發(fā)現(xiàn)以下代碼factory.setConcurrency(2);設(shè)置的是2,即允許一臺機器可以同時開啟2個線程消費實例,導致新增加的機器,一直無法消費
KafkaListenerContainerFactory> kafkaListenerContainerFactory() {logger.info("batchContainerFactory init"); ConcurrentKafkaListenerContainerFactory factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); factory.setConcurrency(2); factory.setBatchListener(true); return factory;}
把factory.setConcurrency(1)改為1后,分區(qū)數(shù)量跟消費機器的數(shù)量對等后,新增的機器得以開始消費數(shù)據(jù)。
到此,關(guān)于“如何解決spring kafka新增消費機器后,新增機器一直無法消費的問題”的學習就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續(xù)學習更多相關(guān)知識,請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
本文名稱:如何解決springkafka新增消費機器后,新增機器一直無法消費的問題
URL標題:http://weahome.cn/article/goicpj.html