這篇文章主要講解了“Hadoop中的日志文件總結(jié)”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“Hadoop中的日志文件總結(jié)”吧！

成都創(chuàng)新互聯(lián)公司專(zhuān)業(yè)為企業(yè)提供綏德網(wǎng)站建設(shè)、綏德做網(wǎng)站、綏德網(wǎng)站設(shè)計(jì)、綏德網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、綏德企業(yè)網(wǎng)站模板建站服務(wù)，10余年綏德做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

參考資料：hadoop 日志存放位置

1、Hadoop MapReduce日志分類(lèi)

1）、服務(wù)日志

2）、作業(yè)日志

2、Hadoop 1.x版本中MapReduce的服務(wù)日志包括？

1）、JobTracker日志

JobTracker：在JobTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是
        ${hadoop.log.dir}/logs/*-jobtracker-*.log，該文件每天生成一個(gè)，舊的日志后綴是日期，當(dāng)天的日志文件后綴是“.log”，其中${hadoop.log.dir}默認(rèn)值是hadoop安裝目錄，即${HADOOP_HOME}。

2）、各個(gè)TaskTracker日志

TaskTracker：在各個(gè)TaskTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是
    $HADOOP_HOME/logs/*-tasktracker-*.log，該文件每天生成一個(gè)，舊的日志后面會(huì)跟一個(gè)日志，當(dāng)天的日志文件后綴是“.log”

3、作業(yè)日志包括哪兩部分日志？

    作業(yè)日志包括jobhistory日志和task日志兩部分

4、jobhistory日志的作用？

    jobhistory日志是作業(yè)運(yùn)行日志，包括作業(yè)啟動(dòng)時(shí)間、結(jié)束時(shí)間、每個(gè)任務(wù)的啟動(dòng)時(shí)間、結(jié)束時(shí)間、各種counter信息等，用戶(hù)可以從這個(gè)日志中解析出作業(yè)運(yùn)行的各種信息，是非常有價(jià)值的信息。

5、jobhistory日志默認(rèn)存放位置？

    默認(rèn)存放位置是JobTracker所在節(jié)點(diǎn)的${hadoop.log.dir}/history目錄下

6、jobhistory日志存放位置可通過(guò)什么選項(xiàng)配置？

    可通過(guò)參數(shù)hadoop.job.history.location配置。

7、task日志存放位置？

    每個(gè)task日志存放在task運(yùn)行節(jié)點(diǎn)上，存放位置是${hadoop.log.dir}/userlogs//目錄下。

8、每個(gè)task日志包含哪幾個(gè)子文件？

    每個(gè)task包含三個(gè)日志文件，分別是stdout、stderr和syslog。

    1）、stdout

    stdout：是通過(guò)標(biāo)準(zhǔn)輸出打印出來(lái)的日志。

    比如System.out.println，注意，程序中通過(guò)標(biāo)準(zhǔn)輸出打印的日志并不會(huì)直接顯示在終端上，而是保存在這個(gè)文件中。

    2）、syslog

    syslog是通過(guò)log4j打印的日志，通常這個(gè)日志中包含的有用信息最多，也是錯(cuò)誤調(diào)試中最關(guān)鍵的參考日志。

感謝各位的閱讀，以上就是“Hadoop中的日志文件總結(jié)”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)Hadoop中的日志文件總結(jié)這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！