這篇文章主要講解了“Hadoop日志存在哪里”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Hadoop日志存在哪里”吧！

創(chuàng)新互聯(lián)公司2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元趙縣做網(wǎng)站,已為上家服務(wù),為趙縣各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220

1.Hadoop 1.x版本

Hadoop 1.x中MapReduce的服務(wù)日志包括JobTracker日志和各個(gè)TaskTracker日志，他們的日志位置如下：

JobTracker：在JobTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是

${hadoop.log.dir}/logs/*-jobtracker-*.log，該文件每天生成一個(gè)，舊的日志后綴是日期，當(dāng)天的日志文件 后綴是“.log”，其中${hadoop.log.dir}默認(rèn)值是hadoop安裝目錄，即${HADOOP_HOME}。

TaskTracker：在各個(gè)TaskTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是

$HADOOP_HOME/logs/*-tasktracker-*.log，該文件每天生成一個(gè)，舊的日志后面會(huì)跟一個(gè)日志，當(dāng)天的日志文件后綴是“.log”

作業(yè)日志包括jobhistory日志和task日志兩部分，其中，jobhistory日志是作業(yè)運(yùn)行日志，包括作業(yè)啟動(dòng)時(shí)間、結(jié)束時(shí)間，每個(gè)任 務(wù)的啟動(dòng)時(shí)間、結(jié)束時(shí)間，各種counter信息等，用戶可以從這個(gè)日志中解析出作業(yè)運(yùn)行的各種信息，是非常有價(jià)值的信息。默認(rèn)存放位置是 JobTracker所在節(jié)點(diǎn)的${hadoop.log.dir}/history目錄下，可通過參數(shù) hadoop.job.history.location配置。每個(gè)task日志存放在task運(yùn)行節(jié)點(diǎn)上，存放位置 是${hadoop.log.dir}/userlogs//目錄下，每個(gè)task包含 三個(gè)日志文件，分別是stdout、stderr和syslog，其中，stdout是通過標(biāo)準(zhǔn)輸出打印出來的日志，比如 System.out.println，注意，程序中通過標(biāo)準(zhǔn)輸出打印的日志并不會(huì)直接顯示在終端上，而是保存在這個(gè)文件中，syslog是通過log4j打印的日志，通常這個(gè)日志中包含的有用信息最多，也是錯(cuò)誤調(diào)試中最關(guān)鍵的參考日志。

2.Hadoop 2.x版本

Hadoop 2.x中YARN系統(tǒng)的服務(wù)日志包括ResourceManager日志和各個(gè)NodeManager日志，他們的日志位置如下：

ResourceManager日志存放位置是Hadoop安裝目錄下的logs目錄下的yarn-*-resourcemanager-*.log

NodeManager日志存放位置是各個(gè)NodeManager節(jié)點(diǎn)上hadoop安裝目錄下的logs目錄下的yarn-*-nodemanager-*.log

應(yīng)用程序日志包括jobhistory日志和Container日志，其中，jobhistory日志是應(yīng)用程序運(yùn)行日志，包括應(yīng)用程序啟動(dòng)時(shí)間、結(jié)束時(shí)間，每個(gè)任務(wù)的啟動(dòng)時(shí)間、結(jié)束時(shí)間，各種counter信息等。

Container日志包含ApplicationMaster日志和普通Task日志，它們均存放在Hadoop安裝目錄下的userlogs目 錄中的application_xxx目錄下，其中ApplicationMaster日志目錄名稱為container_xxx_000001，普通 task日志目錄名稱則為container_xxx_000002，container_xxx_000003，….，同Hadoop  1.x一樣，每個(gè)目錄下包含三個(gè)日志文件：stdout、stderr和syslog，且具體含義是一樣的。

感謝各位的閱讀，以上就是“Hadoop日志存在哪里”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Hadoop日志存在哪里這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！