這篇文章主要講解了“基于TBDS的flume異常問(wèn)題怎么排查”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“基于TBDS的flume異常問(wèn)題怎么排查”吧！
創(chuàng)新互聯(lián)專注于常寧企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站,電子商務(wù)商城網(wǎng)站建設(shè)。常寧網(wǎng)站建設(shè)公司,為常寧等地區(qū)提供建站服務(wù)。全流程定制設(shè)計(jì)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)
長(zhǎng)期運(yùn)營(yíng)中發(fā)現(xiàn)部署了flume集群的磁盤滿，經(jīng)過(guò)排查發(fā)現(xiàn)flume的日志目錄導(dǎo)致。
具體看flume的大文件日志發(fā)現(xiàn)，某個(gè)MySQL相關(guān)的sink持續(xù)拋出異常，打印了大量的日志
根據(jù)這個(gè)異常信息（exception）即：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after statement closed
字面意思為MySQL服務(wù)的狀態(tài)（連接）已經(jīng)關(guān)閉的狀態(tài)下，仍然有提交事務(wù)操作，拋出了異常，但這個(gè)異常持續(xù)拋出，仍需要深入分析。
既然是flume拋出的，且與MySQL有關(guān)，那縮小問(wèn)題范圍，查找flume里誰(shuí)在寫(xiě)MySQL。（flume的配置一般位于/etc/flume/conf/agent/flume.conf）
關(guān)閉階段僅僅檢查連接是否存在。
從sink的邏輯看，只有在空連接的情況下，sink狀態(tài)才會(huì)是BACKOFF，其他情況下?tīng)顟B(tài)都是READY，且在向MySQL提交事務(wù)前后，不會(huì)檢查連接狀態(tài)，即使在SQL拋出異常的情況下也沒(méi)有修改sink狀態(tài)，導(dǎo)致提交拋出異常后，sink循環(huán)執(zhí)行，循環(huán)拋出異常。這里就是不斷拋出異常的根本。那么連接到底是什么時(shí)候關(guān)閉的呢？這里的原因猜測(cè)有2個(gè)：(1)sink長(zhǎng)時(shí)間與MySQL沒(méi)有交互，超過(guò)連接自動(dòng)關(guān)閉時(shí)間；(2)MySQL的異常關(guān)閉。
是否sink長(zhǎng)時(shí)間與MySQL無(wú)交互
查詢MySQL的超時(shí)配置如下：
可見(jiàn)，sink與MySQL之間的斷開(kāi)并非二者長(zhǎng)期無(wú)交互。
是否人為斷開(kāi)服務(wù)
查詢?nèi)藶閱?dòng)MySQL的時(shí)間如下：
時(shí)間吻合。
結(jié)論
MySQL服務(wù)異常導(dǎo)致flume提交事務(wù)時(shí)連接中斷，且flume沒(méi)有處理這種異常，引發(fā)死循環(huán)提交事務(wù)，并在這種異常情況下，flume已無(wú)法正常工作。
根據(jù)以上的推論，可進(jìn)行如下驗(yàn)證這個(gè)異常：
在HUE里執(zhí)行多次HiveSQL
手動(dòng)重啟flume寫(xiě)入的MySQL實(shí)例。
flume進(jìn)入無(wú)限循環(huán)的拋出異常狀態(tài)，驗(yàn)證成功。
感謝各位的閱讀，以上就是“基于TBDS的flume異常問(wèn)題怎么排查”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)基于TBDS的flume異常問(wèn)題怎么排查這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！
重慶分公司
重慶分公司
