本篇文章為大家展示了使用ogg將Oracle數(shù)據(jù)傳輸?shù)絝lume刷到kafka中的內存設置是怎樣的,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
專注于為中小企業(yè)提供成都網(wǎng)站制作、成都網(wǎng)站設計服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)門源免費做網(wǎng)站提供優(yōu)質的服務。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了超過千家企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉變。
flume 環(huán)境可以根據(jù)不同的需求啟動多個進程,并配置多個服務。
內存參數(shù)可以修改flume-env.sh 腳本中內存設置:
export JAVA_OPTS=" -Xms128m -Xmx512m -Dcom.sun.management.jmxremote"
一般分配如上大小就可以。
對應OGGpump傳輸段配置內存大小實例如下:
javawriter.bootoptions=-Xmx2048m -Xms256m -XX:-UseGCOverheadLimit -Djava.class.path=/data/ogg_for_bigdata/ggjava/ggjava.jar -Dlog4j.configuration=/data/ogg_for_bigdata/cfg/log4j.properties
可以添加參數(shù) -UseGCOverheadLimit 防止 OOM 出現(xiàn)。
設置好合理的內存后,ogg的pump進程可以正常啟動。
info 查看后:
File /data/ogg_for_bigdata/dirdat/ff014656
2019-03-22 14:54:59.000996 RBA 126667880
數(shù)據(jù)實時更新。
查看 stats 進程:
Hourly statistics since 2019-04-09 20:00:04 ***
Total inserts 589.00
Total updates 555.00
Total befores 555.00
Total deletes 0.00
Total discards 0.00
Total operations 1144.00
進程正常running
內存參數(shù)優(yōu)化是調整進程掛起事務提交失敗的一種方式,具體視配置環(huán)境而定。
異常報錯如下:
上述內容就是使用ogg將Oracle數(shù)據(jù)傳輸?shù)絝lume刷到kafka中的內存設置是怎樣的,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。