小編給大家分享一下Apache Hadoop 2.4.1命令有哪些，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
創(chuàng)新互聯(lián)服務(wù)緊隨時代發(fā)展步伐，進行技術(shù)革新和技術(shù)進步，經(jīng)過10年的發(fā)展和積累，已經(jīng)匯集了一批資深網(wǎng)站策劃師、設(shè)計師、專業(yè)的網(wǎng)站實施團隊以及高素質(zhì)售后服務(wù)人員，并且完全形成了一套成熟的業(yè)務(wù)流程，能夠完全依照客戶要求對網(wǎng)站進行網(wǎng)站建設(shè)、做網(wǎng)站、建設(shè)、維護、更新和改版，實現(xiàn)客戶網(wǎng)站對外宣傳展示的首要目的，并為客戶企業(yè)品牌互聯(lián)網(wǎng)化提供全面的解決方案。
所有的Hadoop命令都是通過bin/hadoop目錄下的腳本所執(zhí)行，在沒有任何參數(shù)的情況下運行Hadoop腳本將打印該命令描述。
Usage：Hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
hadoop有個輸入選項解析框架可以利用在運行class的時候來解析參數(shù)。
| COMMAND_OPTION | Description |
| --config confdir | 包含所有的配置目錄，默認目錄是$HADOOP_HOME/conf |
GENERIC_OPTION COMMAND_OPTION | 這個選項的集合被多個命令支持。各個命令和它們的選項描述在下列的段落中。這些命令被分組成用戶命令和管理員命令。 |
dfsadmin, fs, fsck, job and fetchdt都支持下屬選項所有的。應(yīng)用程序需要實現(xiàn)Tool接口然后才能支持通用選項解析。
| GENERIC_NAME | Description |
| --conf | 指定一個文件的配置文件 |
| -D | 為屬性指定值 |
| -jt | 指定一個Job tracker。 僅僅應(yīng)用于Job。 |
| -files | 用逗號分隔文件并復(fù)制到map reduce集群。僅僅應(yīng)用于job。 |
| -libjars | 逗號分隔在classpath中的jar文件。僅僅應(yīng)用于job。 |
| -archives | 用逗號分隔在計算中未歸檔的文件。 僅僅應(yīng)用于job。 |
hadoop集群用戶基于命令是非常方便的
創(chuàng)建一個Hadoop歸檔，更多信息可以在Hadoop歸檔中查找。
Usage： hadoop archive -archiveName NAME
| COMMAND_OPTION | Description |
| -archiveName NAME | 被創(chuàng)建archive的名字 |
| src | 文件系統(tǒng)的工作路徑，通常使用正則表達式 |
| dest | 包含archive文件的目標目錄 |
遞歸拷貝文件或者目錄，更多信息可以通過Hadoop DistCp指南來查看。
Usage：hadoop distcp
| COMMAND_OPTION | Description |
| srcurl | URL源 |
| desturl | 目標URL |
Usage：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
反對使用，使用hdfs dfs代替使用。
使用客戶端運行一個通用文件系統(tǒng)。
各種COMMAND_OPTIONS都可以通過File System Shell指南找到
運行一個hdfs系統(tǒng)檢查工具，更多信息參考fsck。
Usage： hadoop fsck [GENERIC_OPTION]
| COMMAND_OPTION | Description |
| path | 開始檢查這個path |
| -move | 移動錯誤的文件到/lost+found |
| -delete | 刪除錯誤的文件 |
| -openforwrite | 為寫打開文件 |
| -files | 檢查輸出文件 |
| -blocks | 打印快報告 |
| -locations | 打印每個塊的位置 |
| -racks | 為數(shù)據(jù)節(jié)點位置打印網(wǎng)絡(luò)拓撲 |
從NameNode獲取委托token，更多信息請參考fetchdt。
Usage： hadoop fetchdt [GENERIC_OPTIONS] [--webservice
| COMMAND_OPTION | Description |
| FileName | 文件名字存在的記錄中 |
| --webservice https_address | 使用http協(xié)議代替RPC |
運行一個jar文件，用戶可以打包他們的map reduce文件并且可以使用這個命令執(zhí)行。
Usage： hadoop jar
流的工作需要通過這個命令。例子可以從Streaming examples中查閱。
單詞統(tǒng)計例子也可以使用jar命令來運行，這個例子我們也可以在Wordcount example中查閱。
與map reduce job命名交互。
Usage： hadoop job [GENERIC_OPTIONS] [-submit
| COMMAND-OPTIONS | Description |
| -submit job-file | 提交一個作業(yè) |
| -status job-id | 打印map reduce完成的百分比和所有作業(yè)數(shù)量 |
| -counter job-id group name counter-name | 打印統(tǒng)計值 |
| -kill job-id | 殺掉這個作業(yè) |
| -events job-id from-event-# #-of-events | 打印從jobtracker給定范圍接收到的事件細節(jié)。 |
| -history [all]jobOutputDir | 打印工作細節(jié),失敗和死亡提示信息。 以通過指定[所有]選項獲取詳細的工作任務(wù)和任務(wù)成功的嘗試 |
| -list [all] | 顯示已經(jīng)完成的作業(yè)。 list all顯示所有的作業(yè) |
| -kill-task task-id | 殺掉這任務(wù)。殺死的任務(wù)并不算失敗的嘗試 |
| -fail-task task-id | 失敗的任務(wù)。失敗的任務(wù)算失敗嘗試 |
| -set-priority job-id priority | 改變job的優(yōu)先權(quán)，允許的有限值是VERY_HIGH, HIGH, NORMAL, LOW, VERY_LOW |
運行一個管道作業(yè)。
Usage： hadoop pipes [-conf
[-inputformat
| COMMANE_OPTION | Description |
| -conf path | Job配置文件 |
| -jobconf key=value,key=value,... | 添加/覆蓋配置文件 |
| -input path | 輸入目錄 |
| -output path | 輸出目錄 |
| -jar jar file | jar文件 |
| -inputformat class | InputFormat 類 |
| -map class | java Map類 |
| -partitioner class | java partitioner |
| -reduce class | java reduce 類 |
| -writer class | Java RecordWriter |
| -program executable | 可執(zhí)行的URI |
| -reduces num | reduce的數(shù)量 |
此命令可以跟hadoop job的隊列交互。
Usage： hadoop queue [-list] | [-info
| COMMAND_OPTION | Description |
| -list | 獲得系統(tǒng)中作業(yè)隊列的配置列表，以及與作業(yè)相關(guān)的隊列調(diào)度信息 |
| -info job-queue-name [-showJobs] | 顯示指定作業(yè)隊列的隊列信息和相關(guān)的調(diào)度信息。如果存在 -showJobs選項的列表，則表示作業(yè)提交給指定的作業(yè)隊列。 |
| -showacls | 顯示隊列名稱和允許當(dāng)前用戶相關(guān)的隊列操作。列表只包含用戶訪問隊列。 |
打印出Hadoop的版本。
Usage： hadoop version
可以使用hadoop腳本去執(zhí)行任何一個類。
Usage： hadoop CLASSNAME
運行這個類的名字叫著 CLASSNAME
打印hadoop所需jar文件和需求庫的路徑。
Usage： hadoop classpath
hadoop集群管理員可以基于管理員命令很好的管理集群。
運行一個負載均衡工具，管理員可以簡單的執(zhí)行 Ctrl-C去停止這個操作， 更對細節(jié)請參考 Rebalancer 。
Usage： hadoop balancer [-threshold
| COMMAND_OPTION | Description |
| -threshold threshold | 磁盤容量百分比。覆蓋默認的閥值。 |
為每個守護進程設(shè)置日志查看或者設(shè)置級別
Usage: hadoop daemonlog -getlevel
Usage: hadoop daemonlog -setlevel
| COMMAND_OPTION | Description |
| -getlevel host:port name | 打印運行在host:port守護進程的日志級別，這個命令內(nèi)部連接到http://host:port/logLevel?log=name |
| -setlevel host:port name level | 設(shè)置運行在host:port守護進程的日志級別，這個命令內(nèi)部連接到http://host:port/logLevel?log=name |
啟動一個 HDFS datanode。
Usage: hadoop datanode [-rollback]
| COMMAND_OPTION | Description |
| -rollback | 回滾datanode前一個版本，這應(yīng)該用于停止datanode和hadoop分布式舊版本后 |
啟動一個hdfs 管理客戶端。
Usage： hadoop dfsadmin [GENERIC_OPTIONS] [-report] [safemode enter | leave | wait | get] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota
| COMMAND_OPTION | Description |
| -report | 報告基本的文件系統(tǒng)的信息和狀態(tài) |
| -safemode enter / leave / get / wait | 安全模式維護命令。安全模式的Namenode狀態(tài) 1.name space不接受改變（只讀） 2.不能復(fù)制和刪除塊 NameNode啟動自動進入安全模式，當(dāng)配置的最小的塊的百分比滿足最小復(fù)制狀態(tài)自動離開安全模式。安全模式也可以手動進入，但也需要手動退出。 |
| -refreshNodes | 允許連接到namenode和那些應(yīng)停止或重新啟用集合，重新讀取主機和排除的文件更新到datanode。 |
| -finalizeUpgrade | HDFS完成升級。datanode刪除他們的之前版本的工作目錄,其次是Namenode做同樣的事。這就完成了升級過程。 |
| -upgradeProgress status/details/force | 請求當(dāng)前分布式的升級狀態(tài)。詳細狀態(tài)或者強制升級。 |
| -metasave filename | 通過hadoop.log.dir屬性指定的目錄保存NameNode的主要數(shù)據(jù)結(jié)構(gòu)到文件。如果文件名已經(jīng)存在將被覆蓋。filename將會包含下列的每一項： 1.DataNode心跳 2.等待復(fù)制的塊 3.目前被復(fù)制的塊 4.等待被刪除的塊 |
| setQuota quota dirname ... dirname | 為每個dirname目錄設(shè)置定額，目錄配額是一個長整數(shù)，并且目錄樹名和數(shù)量是一個硬限制。最佳工作目錄，錯誤報告 1.用戶不是管理員 2.N不是一個正整數(shù) 3.目錄不存在或者是一個文件 4.目錄將會超過新限額 |
| -clrQuota dirname ... dirname | 明白每個dirname目錄的定額，最佳工作目錄，與故障報告 1.目錄不存在或者是一個文件 2.用戶不是管理員，如果目錄沒有配額它沒有錯 |
| -restroreFailedStorage true/false/check | 這個選項將打開/關(guān)閉自動試圖恢復(fù)失敗的存儲副本。如果要失敗的存儲再次可用，系統(tǒng)將會試圖從checkpoint中恢復(fù)edits或(和)fsimage. 'check'將返回當(dāng)前設(shè)置 |
| -help [cmd] | 顯示給定命令的幫助，或如果沒有指定命令，則顯示全部幫助 |
運行一個mr管理客戶端。
Usage： hadoop mradmin [GENERIC_OPTION] [-refreshQueueAcls]
| COMMAND_ OPTION | Description |
| -refreshQueueAcls | 更新hadoop使用的acl隊列 |
運行一個MapReduce job tracker。
Usage：hadoop jobtracker [dumpConfiguration]
| COMMAND_OPTION | Description |
| -dumpconfiguration | 轉(zhuǎn)儲 JobTracker所使用的配置以及JSON格式的JobTracker和exits使用標準輸出配置。 |
運行namenode。關(guān)于升級、回滾、初始化的更多信息請參考Upgrade Rollback 。
Usage： hadoop namenode [-format] [-upgrade] [-rollback] [-finalize] [-importCheckpoint]
| COMMAND_OPTION | Description |
| -format | 格式化namenode,它啟動namenode，格式化它，然后關(guān)閉它。 |
| -upgrade | Namenode應(yīng)該開啟升級新hadoop版本分布式選項。 |
| -rollback | 回滾之前的版本。停止舊版本hadoop分布式集群后才應(yīng)該被使用。 |
| -finalize | 確定將要刪除先前文件系統(tǒng)的狀態(tài)，最近的升級變?yōu)橛谰?，回滾選項將不再可用。結(jié)束后將namenode關(guān)閉 |
| -importCheckpoint | 從一個checkpoint目錄加載image并且將他保存到當(dāng)前的一個。從屬性fs.checkpoint.dir讀取Checkpoint目錄 |
運行 HDFS secondary namenode， 更多信息請參考 Secondary Namenode 。
Usage：hadoop secondraynamenode [-checkpoint [force]] | [-geteditsize]
| COMMAND_OPTION | Description |
| -checkPoint [force] | 如果EditLog .size >= fs.checkpoint.size，檢查點secondary namenode 。 如果使用了-force，檢查點忽略EditLog .size |
| -geteditsize | 打印Edit Log大小 |
運行一個MapReduce的tasktracker節(jié)點。
Usage： hadoop tasktracker
以上是“Apache Hadoop 2.4.1命令有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
重慶分公司
重慶分公司
