這篇文章將為大家詳細(xì)講解有關(guān)HDFS oiv如何解析Fsimage OOM異常處理，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)企業(yè)建站,十年網(wǎng)站建設(shè)經(jīng)驗(yàn)，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁設(shè)計(jì)，有多年建站和網(wǎng)站代運(yùn)營經(jīng)驗(yàn)，設(shè)計(jì)師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對于成都做網(wǎng)站、成都網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)中不同領(lǐng)域進(jìn)行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動(dòng)的思維在網(wǎng)頁中充分展現(xiàn)，通過對客戶行業(yè)精準(zhǔn)市場調(diào)研，為客戶提供的解決方案。

HDFS的Fsimage文件記錄了集群的元數(shù)據(jù)信息，是進(jìn)行集群健康度分析的基礎(chǔ)。利用HDFS oiv命令可以解析fsimage文件，解析后的文件放入Hive中即可進(jìn)行集群元數(shù)據(jù)的詳細(xì)分析。

     1問題描述
     

運(yùn)行以下命令，獲取hdfs集群的fsimage文件，并使用oiv命令進(jìn)行解析

#獲取fsimage文件
hdfs dfsadmin -fetchImage /hdfs_meta

#使用oiv命令將fsimage文件解析為csv文件
hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

異常信息

喜聞樂見的OOM

     2解決思路      

解析fsimage文件出現(xiàn)OOM，初步考慮是HDFS Client的java heap設(shè)置小了，于是嘗試在hdfs oiv命令前指定HADOOP_CLIENT_OPTS

HADOOP_CLIENT_OPTS='-Xmx5000m' hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

發(fā)現(xiàn)依舊OOM，隨后將該參數(shù)從5G調(diào)整到20G，并未解決該問題（嘗試過去CM上修改HDFSClient的 Java Heap）

查看hdfs oiv命令的help發(fā)現(xiàn)了一個(gè)-t參數(shù)，使用臨時(shí)目錄緩存中間結(jié)果來生成oiv命令的解析結(jié)果，可以緩解內(nèi)存的壓力。

最終在oiv命令中帶上-t參數(shù)，問題解決

hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -t /temp/dir -o /hdfs_meta/fsimage.csv -p Delimited

問題參考：

https://issues.apache.org/jira/browse/HDFS-6293

https://community.cloudera.com/t5/Community-Articles/How-to-read-fsimage/ta-p/248832

     3Fsimage文件字段注釋
     

字段	注釋
Path	HDFS路徑
Replication	副本數(shù)
ModificationTime	最近修改時(shí)間
AccessTime	最近訪問時(shí)間
PerferredBlockSize	block size
BlocksCount	塊總數(shù)
FileSize	文件大小
NSQUOTA	名稱配額
DSQUOTA	監(jiān)控配額
Permission	文件權(quán)限
UserName	所屬用戶
GroupName	所屬用戶組

順利解析出Fsimage文件后，下一步就是建個(gè)Hive表，然后上Spark愉快的進(jìn)行集群元數(shù)據(jù)分析了?。?！

關(guān)于“HDFS oiv如何解析Fsimage OOM異常處理”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。

本文標(biāo)題：HDFSoiv如何解析FsimageOOM異常處理
網(wǎng)頁地址：http://weahome.cn/article/giioos.html