今天就跟大家聊聊有關(guān)使用MaxCompute Java SDK 執(zhí)行任務(wù)卡住了怎么解決,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供隴縣網(wǎng)站建設(shè)、隴縣做網(wǎng)站、隴縣網(wǎng)站設(shè)計、隴縣網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、隴縣企業(yè)網(wǎng)站模板建站服務(wù),10多年隴縣做網(wǎng)站經(jīng)驗(yàn),不只是建網(wǎng)站,更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。
用戶A
A: “親,用 MaxCompute Java SDK 跑作業(yè),為什么卡住不動了?”
me: “有 Logview 嗎?發(fā)來看下”
A: “沒有,我用的是SDK,沒Logview”
用戶B
B :“親,用 MaxCompute Java SDK 訪問 Table,為什么卡住半天沒反應(yīng)?”
me:“卡在哪一行了?”
B:"就 RestClient retry 然后卡住了"
用戶 A 的問題在于沒有 instance 的 logview,導(dǎo)致無法追蹤 instance 的運(yùn)行過程。
通常用戶在創(chuàng)建 instance 后會調(diào)用 instance.waitForSuccess() 來等待作業(yè)運(yùn)行完成,一旦作業(yè)耗時巨大,程序就卡在這一步了,此時如果有 logview ,就能查看追蹤查看作業(yè)等待的具體原因了。
用戶 B 的問題在于 sdk 的 Restclient 本身有重試機(jī)制,從表面來看就是卡住了,沒有任何輸出。
如果在每次重試的時候都輸出錯誤,就可以快速定位問題節(jié)約時間了。我已經(jīng)遇到好幾個公共云用戶因?yàn)槿卑鼘?dǎo)致一直卡住幾分鐘才丟出異常,嚴(yán)重影響了工作效率。
那么問題可以歸結(jié)為下面兩點(diǎn):
答案很簡單, MaxCompute Java SDK 提供了 logview 接口,詳情可查看 SDK Java Doc
String logview = odps.logview().generateLogView(instance, 7 * 24);
兩個參數(shù): instance 對象,logview token 超時時間 (單位:小時)
再次提醒用戶,在使用 SDK 的時候,請為每個 instance 記錄 Logview,一旦遇到問題可快速追蹤。
當(dāng)然如果改代碼很麻煩,那還有一個絕招。在 MaxCompute Console 中使用 wait
命令也可以得到Logview。
當(dāng)然可以。
MaxCompute Java SDK
提供了抽象類
RetryLogger
詳情可查看
SDK Java Doc
public static abstract class RetryLogger { /** * 當(dāng) RestClent 發(fā)生重試前的回調(diào)函數(shù) * * @param e * 錯誤異常 * @param retryCount * 重試計數(shù) * @param retrySleepTime * 下次需要的重試時間 */ public abstract void onRetryLog(Throwable e, long retryCount, long retrySleepTime); }
用戶只需實(shí)現(xiàn)一個自己的
RetryLogger
子類,然后在初始化 odps 對象的時候使用
odps.getRestClient().setRetryLogger(new UserRetryLogger());
就可以將日志輸出。
一個典型的實(shí)現(xiàn)如下:
// init odps odps.getRestClient().setRetryLogger(new UserRetryLogger()); // your retry logger public class UserRetryLogger extends RetryLogger { @Override public void onRetryLog(Throwable e, long retryCount, long sleepTime) { if (e != null && e instanceof OdpsException) { String requestId = ((OdpsException) e).getRequestId(); if (requestId != null) { System.err.println(String.format( "Warning: ODPS request failed, requestID:%s, retryCount:%d, will retry in %d seconds.", requestId, retryCount, sleepTime)); return; } } System.err.println(String.format( "Warning: ODPS request failed:%s, retryCount:%d, will retry in %d seconds.", e.getMessage(),retryCount, sleepTime)); } }
看完上述內(nèi)容,你們對使用MaxCompute Java SDK 執(zhí)行任務(wù)卡住了怎么解決有進(jìn)一步的了解嗎?如果還想了解更多知識或者相關(guān)內(nèi)容,請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝大家的支持。