一、hdfs啟動(dòng)流程

1、加載fsimage，即加載元數(shù)據(jù)
2、加載edits文件，因?yàn)樯厦娴膄simage并不一定包含最新的元數(shù)據(jù)
3、保存檢查點(diǎn)（checkpoint），主要為了snn后面合并edits到fsimage時(shí)使用
4、進(jìn)入安全模式，檢查副本率是否滿足冗余度的要求，或者是否完整，如果不滿足就處于安全模式，無法寫入。如果滿足就退出安全模式。

10年積累的網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先建設(shè)網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有徐州免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

二、基本操作命令

我們可以使用 hdfs dfs xxx 或者 hadoop fs xxx 都可以，兩者是一樣的。

完整的全部命令如下：

Usage: hadoop fs [generic options]
        [-appendToFile  ... ]
        [-cat [-ignoreCrc]  ...]
        [-checksum  ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R]  PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] [-d]  ... ]
        [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc]  ... ]
        [-count [-q] [-h] [-v] [-t []] [-u] [-x]  ...]
        [-cp [-f] [-p | -p[topax]] [-d]  ... ]
        [-createSnapshot  []]
        [-deleteSnapshot  ]
        [-df [-h] [ ...]]
        [-du [-s] [-h] [-x]  ...]
        [-expunge]
        [-find  ...  ...]
        [-get [-f] [-p] [-ignoreCrc] [-crc]  ... ]
        [-getfacl [-R] ]
        [-getfattr [-R] {-n name | -d} [-e en] ]
        [-getmerge [-nl] [-skip-empty-file]  ]
        [-help [cmd ...]]
        [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [ ...]]
        [-mkdir [-p]  ...]
        [-moveFromLocal  ... ]
        [-moveToLocal  ]
        [-mv  ... ]
        [-put [-f] [-p] [-l] [-d]  ... ]
        [-renameSnapshot   ]
        [-rm [-f] [-r|-R] [-skipTrash] [-safely]  ...]
        [-rmdir [--ignore-fail-on-non-empty]  ...]
        [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set  ]]
        [-setfattr {-n name [-v value] | -x name} ]
        [-setrep [-R] [-w]   ...]
        [-stat [format]  ...]
        [-tail [-f] ]
        [-test -[defsz] ]
        [-text [-ignoreCrc]  ...]
        [-touchz  ...]
        [-truncate [-w]   ...]
        [-usage [cmd ...]]

1、獲取命令幫助

hdfs dfs -help command
如：
hdfs dfs -help ls

2、創(chuàng)建目錄

hdfs dfs -mkdir HDFS路徑
選項(xiàng)：-p  遞歸創(chuàng)建目錄

3、列出目錄信息

hdfs dfs -ls HDFS路徑
選項(xiàng)：-R 遞歸顯示所有目錄以及目錄下的所有子目錄和文件

4、上傳文件或者目錄

hdfs dfs -put 本地路徑  HDFS路徑
hdfs dfs -copyFromLocal 本地路徑 hdfs路徑
hdfs dfs -moveFromLocal 本地路徑 hdfs路徑  這個(gè)會(huì)刪除本地文件

5、下載文件或者目錄

hdfs dfs -get HDFS路徑 本地路徑 
hdfs dfs -copyToLocal HDFS路徑 本地路徑

6、查看文件內(nèi)容

hdfs dfs -cat HDFS路徑

7、將本地文件內(nèi)容追加到HDFS文件中

hdfs dfs -appendToFile 本地路徑 HDFS路徑

8、監(jiān)控文件內(nèi)容

hdfs dfs -tail -f HDFS路徑

9、刪除文件或目錄

hdfs dfs -rm HDFS路徑
選項(xiàng)：-r 遞歸刪除子目錄

注意：默認(rèn)回收站關(guān)閉，所以刪除的文件立馬就沒了

10、合并數(shù)據(jù)并下載到本地

hdfs dfs -getmerge HDFS路徑1 HDFS路徑2 ....  本地路徑

11、統(tǒng)計(jì)類

hdfs dfs -count HDFS路徑     統(tǒng)計(jì) 目錄個(gè)數(shù)  文件個(gè)數(shù)  總的文件數(shù)
hdfs dfs -du HDFS路徑        顯示目錄或者文件的大小
hdfs dfs -df HDFS路徑        顯示空間使用情況

12、復(fù)制和剪切

hdfs dfs -cp HDF***c HDFSdest   HDFS內(nèi)部復(fù)制
hdfs dfs -mv HDF***c HDFSdest   HDFS內(nèi)部剪切

13、文件權(quán)限

hdfs dfs -chown user:group HDFS路徑   修改屬主屬組
hdfs dfs -chmod 權(quán)限 HDFS路徑         修改權(quán)限

14、設(shè)置副本數(shù)

hdfs dfs -setrep n HDFS路徑

三、管理命令

1、均衡datanode

hdfs balancer  將多個(gè)datanode節(jié)點(diǎn)進(jìn)行數(shù)據(jù)均衡處理，避免有些節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)過多

2、打印運(yùn)行報(bào)告

hdfs dfsadmin -report

3、安全模式

hdfs dfsadmin -safemode  enter|leave|get  進(jìn)入安全模式|離開安全模式|獲取安全模式狀態(tài)

4、快照

hdfs dfsadmin -allowSnapshot HDFS目錄   給某個(gè)目錄做快照
hdfs dfsadmin -disableSnapshot HDFS目錄   給某個(gè)目錄取消快照

5、配額

//名稱配額，簡單說就是該目錄下文件和目錄的總個(gè)數(shù)的限制
hdfs dfsadmin -setQuota N HDFS目錄1 HDFS目錄2.....  設(shè)置名稱配額
hdfs dfsadmin -clrQuota HDFS目錄1 HDFS目錄2.....    取消名稱配額

//空間配額，簡單說就是該目錄的存儲(chǔ)空間限制
hdfs dfsadmin -setSpaceQuota N單位(如:1GB) [-storageType ] HDFS目錄1 HDFS目錄2..... 設(shè)置空間配額
hdfs dfsadmin -clrSpaceQuota [-storageType ] HDFS目錄1 HDFS目錄2..... 取消空間配額

其中 storageType 有以下類型：
RAW-DISK：原始物理磁盤
DISK：    分區(qū)空間
SSD：     固態(tài)硬盤
ARCHIVE：   

四、hadoop啟動(dòng)相關(guān)命令