1、啟動(dòng)hadoop所有進(jìn)程
創(chuàng)新互聯(lián)專注于肇州網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供肇州營銷型網(wǎng)站建設(shè)，肇州網(wǎng)站制作、肇州網(wǎng)頁設(shè)計(jì)、肇州網(wǎng)站官網(wǎng)定制、小程序開發(fā)服務(wù)，打造肇州網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供肇州網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
start-all.sh等價(jià)于start-dfs.sh + start-yarn.sh
但是一般不推薦使用start-all.sh(因?yàn)殚_源框架中內(nèi)部命令啟動(dòng)有很多問題)。
2、單進(jìn)程啟動(dòng)。
sbin/start-dfs.sh
---------------
sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ... //
sbin/start-yarn.sh
--------------
libexec/yarn-config.sh
sbin/yarn-daemon.sh --config $YARN_CONF_DIR start resourcemanager
sbin/yarn-daemons.sh --config $YARN_CONF_DIR start nodemanager
3、常用命令
1、查看指定目錄下內(nèi)容
hdfs dfs –ls [文件目錄]
hdfs dfs -ls -R / //顯式目錄結(jié)構(gòu)
eg: hdfs dfs –ls /user/wangkai.pt
2、打開某個(gè)已存在文件
hdfs dfs –cat [file_path]
eg:hdfs dfs -cat /user/wangkai.pt/data.txt
3、將本地文件存儲至hadoop
hdfs dfs –put [本地地址] [hadoop目錄]
hdfs dfs –put /home/t/file.txt /user/t
4、將本地文件夾存儲至hadoop
hdfs dfs –put [本地目錄] [hadoop目錄]
hdfs dfs –put /home/t/dir_name /user/t
(dir_name是文件夾名)
5、將hadoop上某個(gè)文件down至本地已有目錄下
hadoop dfs -get [文件目錄] [本地目錄]
hadoop dfs –get /user/t/ok.txt /home/t
6、刪除hadoop上指定文件
hdfs dfs –rm [文件地址]
hdfs dfs –rm /user/t/ok.txt
7、刪除hadoop上指定文件夾（包含子目錄等）
hdfs dfs –rm [目錄地址]
hdfs dfs –rmr /user/t
8、在hadoop指定目錄內(nèi)創(chuàng)建新目錄
hdfs dfs –mkdir /user/t
hdfs dfs -mkdir - p /user/centos/hadoop
9、在hadoop指定目錄下新建一個(gè)空文件
使用touchz命令：
hdfs dfs -touchz /user/new.txt
10、將hadoop上某個(gè)文件重命名
使用mv命令：
hdfs dfs –mv /user/test.txt /user/ok.txt （將test.txt重命名為ok.txt）
11、將hadoop指定目錄下所有內(nèi)容保存為一個(gè)文件，同時(shí)down至本地
hdfs dfs –getmerge /user /home/t
12、將正在運(yùn)行的hadoop作業(yè)kill掉
hadoop job –kill [job-id]
13.查看幫助
hdfs dfs -help
4、安全模式
(1)退出安全模式
NameNode在啟動(dòng)時(shí)會自動(dòng)進(jìn)入安全模式。安全模式是NameNode的一種狀態(tài)，在這個(gè)階段，文件系統(tǒng)不允許有任何修改。
系統(tǒng)顯示Name node in safe mode，說明系統(tǒng)正處于安全模式，這時(shí)只需要等待十幾秒即可，也可通過下面的命令退出安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave
(2) 進(jìn)入安全模式
在必要情況下，可以通過以下命令把HDFS置于安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter
5、節(jié)點(diǎn)添加
添加一個(gè)新的DataNode節(jié)點(diǎn)，先在新加節(jié)點(diǎn)上安裝好Hadoop，要和NameNode使用相同的配置（可以直接從NameNode復(fù)制），修改HADOOPHOME/conf/master文件，加入NameNode主機(jī)名。然后在NameNode節(jié)點(diǎn)上修改HADOOPHOME/conf/master文件，加入NameNode主機(jī)名。然后在NameNode節(jié)點(diǎn)上修改HADOOP_HOME/conf/slaves文件，加入新節(jié)點(diǎn)名，再建立新加節(jié)點(diǎn)無密碼的SSH連接，運(yùn)行啟動(dòng)命令為：/usr/local/hadoop$bin/start-all.sh
6、負(fù)載均衡
HDFS的數(shù)據(jù)在各個(gè)DataNode中的分布可能很不均勻，尤其是在DataNode節(jié)點(diǎn)出現(xiàn)故障或新增DataNode節(jié)點(diǎn)時(shí)。新增數(shù)據(jù)塊時(shí)NameNode對DataNode節(jié)點(diǎn)的選擇策略也有可能導(dǎo)致數(shù)據(jù)塊分布不均勻。用戶可以使用命令重新平衡DataNode上的數(shù)據(jù)塊的分布：/usr/local/hadoop$bin/start-balancer.sh
7、補(bǔ)充
1.對hdfs操作的命令格式是hdfs dfs
1.1 -ls 表示對hdfs下一級目錄的查看
1.2 -lsr 表示對hdfs目錄的遞歸查看
1.3 -mkdir 創(chuàng)建目錄
1.4 -put 從Linux上傳文件到hdfs
1.5 -get 從hdfs下載文件到linux
1.6 -text 查看文件內(nèi)容
1.7 -rm 表示刪除文件
1.7 -rmr 表示遞歸刪除文件
2.hdfs在對數(shù)據(jù)存儲進(jìn)行block劃分時(shí)，如果文件大小超過block，那么按照block大小進(jìn)行劃分；不如block size的，劃分為一個(gè)塊，是實(shí)際數(shù)據(jù)大小。
*****PermissionDenyException 權(quán)限不足**********
hadoop常用命令：
hdfs dfs 查看Hadoop HDFS支持的所有命令
hdfs dfs –ls 列出目錄及文件信息
hdfs dfs –lsr 循環(huán)列出目錄、子目錄及文件信息
hdfs dfs –put test.txt /user/sunlightcs 將本地文件系統(tǒng)的test.txt復(fù)制到HDFS文件系統(tǒng)的/user/sunlightcs目錄下
hdfs dfs –get /user/sunlightcs/test.txt . 將HDFS中的test.txt復(fù)制到本地文件系統(tǒng)中，與-put命令相反
hdfs dfs –cat /user/sunlightcs/test.txt 查看HDFS文件系統(tǒng)里test.txt的內(nèi)容
hdfs dfs –tail /user/sunlightcs/test.txt 查看最后1KB的內(nèi)容
hdfs dfs –rm /user/sunlightcs/test.txt 從HDFS文件系統(tǒng)刪除test.txt文件，rm命令也可以刪除空目錄
hdfs dfs –rmr /user/sunlightcs 刪除/user/sunlightcs目錄以及所有子目錄
hdfs dfs –copyFromLocal test.txt /user/sunlightcs/test.txt 從本地文件系統(tǒng)復(fù)制文件到HDFS文件系統(tǒng)，等同于put命令
hdfs dfs –copyToLocal /user/sunlightcs/test.txt test.txt 從HDFS文件系統(tǒng)復(fù)制文件到本地文件系統(tǒng)，等同于get命令
hdfs dfs –chgrp [-R] /user/sunlightcs 修改HDFS系統(tǒng)中/user/sunlightcs目錄所屬群組，選項(xiàng)-R遞歸執(zhí)行，跟linux命令一樣
hdfs dfs –chown [-R] /user/sunlightcs 修改HDFS系統(tǒng)中/user/sunlightcs目錄擁有者，選項(xiàng)-R遞歸執(zhí)行
hdfs dfs –chmod [-R] MODE /user/sunlightcs 修改HDFS系統(tǒng)中/user/sunlightcs目錄權(quán)限，MODE可以為相應(yīng)權(quán)限的3位數(shù)或+/-{rwx}，選項(xiàng)-R遞歸執(zhí)行
hdfs dfs –count [-q] PATH 查看PATH目錄下，子目錄數(shù)、文件數(shù)、文件大小、文件名/目錄名
hdfs dfs –cp SRC [SRC …] DST 將文件從SRC復(fù)制到DST，如果指定了多個(gè)SRC，則DST必須為一個(gè)目錄
hdfs dfs –du PATH 顯示該目錄中每個(gè)文件或目錄的大小
hdfs dfs –dus PATH 類似于du，PATH為目錄時(shí)，會顯示該目錄的總大小
hdfs dfs –expunge 清空回收站，文件被刪除時(shí)，它首先會移到臨時(shí)目錄.Trash/中，當(dāng)超過延遲時(shí)間之后，文件才會被永久刪除
hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl] 獲取由SRC指定的所有文件，將它們合并為單個(gè)文件，并寫入本地文件系統(tǒng)中的LOCALDST，選項(xiàng)addnl將在每個(gè)文件的末尾處加上一個(gè)換行符
hdfs dfs –touchz PATH 創(chuàng)建長度為0的空文件
hdfs dfs –test –[ezd] PATH 對PATH進(jìn)行如下類型的檢查： -e PATH是否存在，如果PATH存在，返回0，否則返回1 -z 文件是否為空，如果長度為0，返回0，否則返回1 -d 是否為目錄，如果PATH為目錄，返回0，否則返回1
hdfs dfs –text PATH 顯示文件的內(nèi)容，當(dāng)文件為文本文件時(shí)，等同于cat，文件為壓縮格式（gzip以及hadoop的二進(jìn)制序列文件格式）時(shí)，會先解壓縮 hdfs dfs –help ls 查看某個(gè)[ls]命令的幫助文檔
本文轉(zhuǎn)自
1.Hadoop 分布式 文件系統(tǒng)。特點(diǎn)：性能高、效率高、速度快
2.可以在廉價(jià)的機(jī)器上運(yùn)行的 可容錯(cuò) 文件系統(tǒng)。
當(dāng)集群中有機(jī)器掛掉時(shí)，HDFS會自動(dòng)將掛掉的機(jī)器上的任務(wù)分配給正常的機(jī)器，使任務(wù)繼續(xù)保持正常工作。
2.HDFS處理更加容易。當(dāng)對一個(gè)大型文件進(jìn)行寫操作時(shí)，如果將該文件整個(gè)寫入一個(gè)節(jié)點(diǎn)，那么該節(jié)點(diǎn)的負(fù)載便會急劇增加，這樣就喪失了分布式文件系統(tǒng)的意義。所以，應(yīng)該利用HDFS將文件拆分成不同的塊，然后將不同的塊分配到不同的節(jié)點(diǎn)上去，此時(shí)，DFS就需要管理者確定文件如何進(jìn)行拆分，以及每一個(gè)塊應(yīng)該分配到哪一個(gè)節(jié)點(diǎn)。對文件進(jìn)行操作時(shí)，在單機(jī)情況下，首先需要知道文件被拆分成多少塊，每一個(gè)塊被放在了哪一個(gè)節(jié)點(diǎn)上，以及塊之間的順序(文件的粘連)。而HDFS的出現(xiàn)，使得分布式文件集群不再需要人進(jìn)行管理，利用HDFS讀取文件時(shí)，我們不需要關(guān)心文件如何拆分，分配，粘連。只用告訴HDFS文件的路徑即可。
HDFS的指令類似于linux下的指令。
查看文件：hdfs dfs -ls /查詢的文件目錄
刪除文件：hdfs dfs -rm r /刪除的文件
創(chuàng)建文件夾：hdfs dfs -mkdir /文件夾名稱
上傳文件至HDFS：hdfs dfs -put 需要上傳的文件 /上傳的文件路徑
為什么需要學(xué)習(xí)HDFS結(jié)構(gòu)？
1.面試中，能夠運(yùn)用于所有分布式文件系統(tǒng)設(shè)計(jì)。
既然分布式系統(tǒng)下是多節(jié)點(diǎn)運(yùn)行，那么節(jié)點(diǎn)之間是否通信？slave節(jié)點(diǎn)只接受來自master節(jié)點(diǎn)的命令，向master節(jié)點(diǎn)發(fā)送心跳指令，slave節(jié)點(diǎn)之間不會主動(dòng)通信。
a.Master slaver 模式：
1.High consistency:一致性。當(dāng)文件中的一個(gè)數(shù)據(jù)塊寫入slave節(jié)點(diǎn)時(shí)，當(dāng)且僅當(dāng)數(shù)據(jù)塊被成功寫入到所有備份的slave節(jié)點(diǎn)，slave節(jié)點(diǎn)向client反饋寫入操作成功，否則，重傳寫入；
2.Simple design:易設(shè)計(jì)：不需要考慮子節(jié)點(diǎn)如何通信。只需要考慮主節(jié)點(diǎn)的工作；
3.單master節(jié)點(diǎn)不具有魯棒性。
b.Peer peer 模式：
1.所有的讀寫操作均勻分布在每一個(gè)節(jié)點(diǎn)上，每一個(gè)節(jié)點(diǎn)的負(fù)載不會很高；
2.任意一個(gè)節(jié)點(diǎn)掛掉不會影響其他節(jié)點(diǎn)；
3.低一致性。沒有數(shù)據(jù)的復(fù)制步驟。
2.更好的理解hadoop生態(tài)系統(tǒng)
a.master節(jié)點(diǎn)會傳輸數(shù)據(jù)嗎？
不會，master節(jié)點(diǎn)只接收client的請求，決定哪一個(gè)slave節(jié)點(diǎn)進(jìn)行讀寫操作，然后，client直接與slave節(jié)點(diǎn)進(jìn)行通信。如果數(shù)據(jù)從master節(jié)點(diǎn)傳輸，那么master節(jié)點(diǎn)就會成為影響數(shù)據(jù)傳輸?shù)钠款i。
b.slave節(jié)點(diǎn)如何存儲數(shù)據(jù)？
整個(gè)大文件？小的文件塊？。HDFS借鑒GFS的設(shè)計(jì)理念，以block為傳輸單位，將大文件拆分成一個(gè)一個(gè)小文件，而一個(gè)小文件就是block。block的大小可以由Configuration定義，默認(rèn)大小是128M。
c.誰來決定將文件拆分成塊？
master?slave?。兩者都不是，由HDFS client決定將大文件拆分成block(塊)。HDFS的目的是將所有的節(jié)點(diǎn)包裝起來，可以理解成將所有的節(jié)點(diǎn)放在一個(gè)黑箱里，我們不需要知道黑箱里到底發(fā)生了什么，只需要告訴黑箱需要做什么工作，這里的HDFS client相當(dāng)于HDFS與user通信的中間媒介。HDFS client相當(dāng)于一個(gè)軟件包(api)，可以存放在master或者slave或者額外的一個(gè)新節(jié)點(diǎn)上。
寫入in memory失敗(ACK出現(xiàn)問題)時(shí)，master會重新選擇3個(gè)新的slave節(jié)點(diǎn)。
1.切換到當(dāng)前目錄的上一級目錄
cd ..
2.切換到當(dāng)前登錄 Linux 系統(tǒng)的用戶自己的主文件夾
cd ~
3.進(jìn)入/tmp 目錄，創(chuàng)建目錄 a1/a2/a3/a4。
mkdir a1/a2/a3/a4 -p
4.刪除目錄
rmdir a
rmdir a1/a2/a3/a4 -p
5.cp 命令：復(fù)制文件或目錄
(1) 將當(dāng)前用戶的主文件夾下的文件.bashrc 復(fù)制到目錄“/usr”下，并重命名為 bashrc1
sudo cp .bashrc /usr/bashrc1
(2) 在目錄“/tmp”下新建目錄 test，再把這個(gè)目錄復(fù)制到“/usr”目錄下
cd /tmp
mkdir test
sudo cp /tmp/test /usr -r
6.mv 命令：移動(dòng)文件與目錄，或更名
(1) 將“/usr”目錄下的文件 bashrc1 移動(dòng)到“/usr/test”目錄下
sudo mv /usr/bashrc1 /usr/test
(2) 將“/usr”目錄下的 test 目錄重命名為 test2
sudo mv /usr/test /usr/test2
7.rm 命令：移除文件或目錄
(1) 將“/usr/test2”目錄下的 bashrc1 文件刪除
sudo rm /usr/test2/bashrc1
(2) 將“/usr”目錄下的 test2 目錄刪除
sudo rm -rf /usr/test2
8.cat 命令：查看文件內(nèi)容查看當(dāng)前用戶主文件夾下的.bashrc 文件內(nèi)容
cat .bashrc
9.tac 命令：反向查看文件內(nèi)容反向查看當(dāng)前用戶主文件夾下的.bashrc 文件的內(nèi)容
tac .bashrc
10.more 命令：一頁一頁翻動(dòng)查看翻頁查看當(dāng)前用戶主文件夾下的.bashrc 文件的內(nèi)容
more .bashrc
11.head 命令：取出前面幾行
(1) 查看當(dāng)前用戶主文件夾下.bashrc 文件內(nèi)容前 20 行
head -n20 .bashrc
(2)查看當(dāng)前用戶主文件夾下.bashrc 文件內(nèi)容，后面 50 行不顯示，只顯示前面幾行
head -n -50 .bashrc
12.tail 命令：取出后面幾行
(1)查看當(dāng)前用戶主文件夾下.bashrc 文件內(nèi)容最后 20 行
tail -n20 .bashrc
(2)查看當(dāng)前用戶主文件夾下.bashrc 文件內(nèi)容，并且只列出 50 行以后的數(shù)據(jù)
tail -n -50 .bashrc
13.touch 命令：修改文件時(shí)間或創(chuàng)建新文件
(1) 在“/tmp”目錄下創(chuàng)建一個(gè)空文件 hello，并查看文件時(shí)間
touch hello
stat hello
(2)修改 hello 文件，將文件時(shí)間整為 5 天前
touch -d "2019-3-26" hello
stat hello
14.chown 命令：修改文件所有者權(quán)限將 hello 文件所有者改為 root 帳號，并查看屬性
sudo chown root hello
ls -l hello
15.find 命令：文件查找找出主文件夾下文件名為.bashrc 的文件
find .bashrc
16.tar 命令：壓縮命令
(1) 在根目錄“/”下新建文件夾 test，然后在根目錄“/”下打包成 test.tar.gz
tar -zcvf test.tar.gz test/
(2) 把上面的 test.tar.gz 壓縮包，解壓縮到“/tmp”目錄
tar -zxvf test.tar.gz
17.grep 命令：查找字符串從“～/.bashrc”文件中查找字符串'examples'
grep -rn "examples" .bashrc
18.使用 hadoop 用戶登錄 Linux 系統(tǒng)，啟動(dòng) Hadoop（Hadoop 的安裝目錄為“/usr/local/hadoop”），為 hadoop 用戶在 HDFS 中創(chuàng)建用戶目錄“/user/hadoop”
./bin/hadoop fs -mkdir -p /usr/hadoop
19.接著在 HDFS 的目錄“/user/hadoop”下，創(chuàng)建 test 文件夾，并查看文件列表
./bin/hdfs dfs -mkdir test
./bin/hadoop fs -ls
20.將 Linux 系統(tǒng)本地的“～/.bashrc”文件上傳到 HDFS 的 test 文件夾中，并查看 test
./bin/hadoop fs -put ~/.bashrc test
./bin/hadoop fs -ls test
21.將 HDFS 文件夾 test 復(fù)制到 Linux 系統(tǒng)本地文件系統(tǒng)的“/usr/local/hadoop”目錄下
參考： 1
HDFS命令基本格式：hadoop fs -cmd args
表格：
注意：以上表格中路徑包括hdfs中的路徑和linux中的路徑。對于容易產(chǎn)生歧義的地方，會特別指出“l(fā)inux路徑”或者“hdfs路徑”。如果沒有明確指出，意味著是hdfs路徑。
HDFS有一個(gè)默認(rèn)的工作目錄/user/$USER，其中$USER是用戶的登錄用戶名。不過目錄不會自動(dòng)建立，需要mkdir建立它
命令格式：hadoop fs -mkdir
注意：支持級聯(lián)創(chuàng)建新目錄，Hadoop的mkdir命令會自動(dòng)創(chuàng)建父目錄，類似于帶-p的linux命令
put命令從本地文件系統(tǒng)中 復(fù)制單個(gè)或多個(gè) 源路徑到目標(biāo)文件系統(tǒng)，也支持從標(biāo)準(zhǔn)輸入設(shè)備中讀取輸入并寫入目標(biāo)文件系統(tǒng)。分為本地上傳和上傳到HDFS中。
命令格式：hadoop fs -put filename
最后一個(gè)參數(shù)是句點(diǎn)，相當(dāng)于放入了默認(rèn)的工作目錄，等價(jià)于 hadoop fs -put example.txt /user/chen
上傳文件時(shí)，文件首先復(fù)制到DataNode上，只有所有的DataNode都成功接收完數(shù)據(jù)，文件上傳才是成功的。
命令格式：hadoop dfs put filename newfilename
從本地文件系統(tǒng)中復(fù)制單個(gè)或多個(gè)源路徑到目標(biāo)文件系統(tǒng)。也支持從 標(biāo)準(zhǔn)輸入 中讀取輸入寫入目標(biāo)文件系統(tǒng)。
采用-ls命令列出HDFS上的文件。在HDFS中未帶參數(shù)的-ls命令沒有返回任何值，它默認(rèn)返回HDFS的home目錄下
的內(nèi)容。在HDFS中，沒有當(dāng)前工作目錄這樣一個(gè)概念，也沒有cmd這樣的命令。
命令格式：user@NameNode:hadoop$ bin/hadoop dfs -ls
如：
通過“-ls 文件夾名” 命令瀏覽HDFS下文件夾中的文件
命令格式：hadoop dfs -ls 文件夾名
通過該命令可以查看in文件夾中的所有文檔文件
通過“-cat 文件名”命令查看HDFS下文件夾中某個(gè)文件的內(nèi)容
命令格式：hadoop$ bin/hadoop dfs -cat 文件名
通過這個(gè)命令可以查看in文件夾中所有文件的內(nèi)容
通過“-get 文件按1 文件2”命令將HDFS中某目錄下的文件復(fù)制到本地系統(tǒng)的某文件中，并對該文件重新命名。
命令格式：hadoop dfs -get 文件名 新文件名
-get 命令與-put命令一樣，既可以操作目錄，也可以操作文件
通過“-rmr 文件”命令刪除HDFS下的文件
命令格式：hadoop$ bin/hadoop dfs -rmr 文件
-rmr 刪除文檔命令相當(dāng)于delete的遞歸版本。
通過-format命令實(shí)現(xiàn)HDFS格式化
命令格式：user@NameNode:hadoop$ bin/hadoop NameNode -format
通過運(yùn)行start-dfs.sh，就可以啟動(dòng)HDFS了
命令格式：user@NameNode:hadoop$ bin/ start-dfs.sh
當(dāng)需要退出HDFS時(shí)，通過stop-dfs.sh 就可以關(guān)閉HDFS
命令格式：user@NameNode:hadoop$ bin/ stop-dfs.sh
HDFS的命令遠(yuǎn)不止這些，對于其他操作，可以通過-help commandName 命令列出清單。下面列舉一些命令進(jìn)行說明。
（1）chgrp改變文件所屬的組命令
chgrp命令的用途是：更改文件或目錄的組所有權(quán)。
語法格式：hadoop fs -charg [-R] GROUP URL .....
使用-R將使改變在目錄結(jié)構(gòu)下遞歸進(jìn)行。命令的使用者必須是文件的所有者或者超級用戶。
（2）chmod改變文件的權(quán)限
chmod用于改變文件或目錄的訪問權(quán)限，這個(gè)Linux系統(tǒng)管理員最常用的命令之一。
使用方法：hadoop fs -chmod [-R] ...
使用-R將使改變在目錄結(jié)構(gòu)下遞歸進(jìn)行。命令的使用者必須是文件的所有者或者是超級用戶
（3）chown改變文件的擁有者
chown命令改變文件的擁有者。
使用方法：hadoop fs -chown [-R]....
使用-R將使改變在目錄結(jié)構(gòu)下遞歸進(jìn)行。命令的使用者必須是超級用戶。
（4）copyFromLocal命令
除了限定 源路徑 是只能是一個(gè) 本地文件 外，其他方面和put命令相似。
使用方法：hadoop fs -copyFromLocal localsrc URI
（5）copyToLocal命令
除了限定 目標(biāo)路徑 是一個(gè) 本地文件 外，其他方面和get命令類似。
使用方法：hadoop fs -copyToLocal {-ignorecrc} {-crc} URI localdst
（6）cp命令
cp命令是將文件從源路徑復(fù)制到目標(biāo)路徑。這個(gè)命令允許有多個(gè)源路徑，此時(shí)目標(biāo)路徑必須是一個(gè)目錄。
使用方法：hadoop fs -cp URI [URI....] dest
返回值：成功返回0 ，失敗返回-1
（7）du命令
du命令顯示目錄中 所有文件的大小 ，或者當(dāng)只指定一個(gè)文件時(shí)，顯示此文件的大小
使用方法：hadoop fs -du URI [URI........]
返回值
成功返回0，失敗返回-1
（8）dus命令
dus是顯示 文件大小 的命令。
使用方法：hadoop fs -dus args
（9）expunge命令
expunge是清空回收站的命令
使用方法：hadoop fs -expunge
（10）get命令
get是復(fù)制文件到本地文件系統(tǒng)的命令
使用方法：hadoop fs -get [-ignorecrc] [-crc] localdst
可用-ignorecrc選項(xiàng)復(fù)制CRC校驗(yàn)失敗的文件：使用-CRC選項(xiàng)復(fù)制文件以及CRC信息。
返回值
成功返回0，失敗返回-1
（11）getmerge命令
getmerge命令用于接受一個(gè)源目錄和一個(gè)目標(biāo)文件作為輸入，并且將源目錄中所有的文件合并成本地目標(biāo)文件。
使用方法：hadoop fs -getmerge src localdst [addnl]
參數(shù)說明：addl是可選的，用于指定在每個(gè)文件結(jié)尾添加一個(gè)換行符；
假設(shè)在你的hdfs集群上有一個(gè)/user/hadoop/output目錄
里面有作業(yè)執(zhí)行的結(jié)果（多個(gè)文件組成）part-000000,part-000001,part-000002
然后就可以在本地使用vi local_file查看內(nèi)容了
（12）ls命令
ls命令查看當(dāng)前目錄下的信息
使用方法：hadoop fs -ls args
如果是 文件 ，則按照如下格式返回文件信息：
文件名 副本數(shù)文件大小 修改日期 修改時(shí)間 權(quán)限 用戶ID 組ID
如果是 目錄 ，則返回它直接子文件的一個(gè)列表，就像在UNIX中一樣。目錄返回i額表的信息如下：
目錄名dir修改日期 修改時(shí)間 權(quán)限 用戶ID 組ID
返回值
成功返回0，失敗返回-1
（13）lsr命令
lsr命令是-ls命令的遞歸版，類似于UNIX中的ls-r。
使用方法：hadoop fs -lsr args
（14）movefromLocal命令
復(fù)制一份本地文件到hdfs，當(dāng)成功后，刪除本地文件
使用方法：dfs -moveFromLocal src dst
（14.5）moveToLocal命令
類似于-get，但是當(dāng)復(fù)制完成后，會刪除hdfs上的文件
使用方法：moveToLocal src localDest
（15）mv命令
將文件從源路徑移動(dòng)到目標(biāo)路徑。這個(gè)命令允許有多個(gè)源路徑，此時(shí)目標(biāo)路徑必須是一個(gè)目錄
使用方法：hadoop fs -mv URI [URI.....] dest
備注：不允許在不同的文件系統(tǒng)間移動(dòng)文件。
返回值
成功返回0，失敗返回-1
（16）put 命令
put命令從本地文件系統(tǒng)中復(fù)制單個(gè)或多個(gè)源路徑到目標(biāo)文件系統(tǒng)，也支持從標(biāo)準(zhǔn)輸入中讀取輸入寫入目標(biāo)文件系統(tǒng)
使用方法：hadoop fs -put localsrc .... dst
（17）rm命令
rm命令刪除指定的文件，只刪除非空目錄和文件。
使用方法：hadoop fs -rm URI [URI......]
請參考rmr命令了解遞歸刪除。
（18）rmr命令
rmr命令是delete命令的遞歸版本
使用方法：hadoop fs -rmr URI [URI.......]
返回值
成功返回0，失敗返回-1
（19）setrep命令
setrep命令可以改變一個(gè)文件的副本系數(shù)。
使用方法：hadoop fs -setrep [-R] path
參數(shù)說明：-R 選項(xiàng)用于遞歸改變目錄下所有文件的副本系數(shù)
返回值
成功返回0，失敗返回-1
（20）stat命令
stat命令用于返回指定路徑的統(tǒng)計(jì)信息
使用方法：hadoop fs -stat URI [URI......]
返回值
成功返回0，失敗返回-1
（21）tail命令
tail命令將文件尾部1KB的內(nèi)容輸出到stdout。支持-f選項(xiàng)，行為和UNIX中一致
使用方法：hadoop fs -tail [-f] URI
返回值
成功返回0，失敗返回-1
（22）test命令
test命令是檢查命令，可以檢查文件是否存在、文件的大小等。
使用方法：hadoop fs -test -[ezd] URI
（23）text命令
text命令用于將源文件輸出問文本格式
使用方法：hadoop fs -text src
允許的格式是zip和TextRecordInputStream。
（24）touchz 命令
touchz命令用于創(chuàng)建一個(gè)0字節(jié)的空文件。
使用方法： hadoop fs -touchz URI [URI....]
返回值
成功返回0，失敗返回-1
重慶分公司
重慶分公司
