hadoop常用命令

• 集群節(jié)點(diǎn)服務(wù)啟停
• hdfs文件系統(tǒng)管理
• yarn資源集群管理
• hadoop啟動(dòng)過程

• 集群節(jié)點(diǎn)服務(wù)啟停
  如圖所示腳本所在路徑：主要分類類命令：管理hdfs和管理yarn資源
  服務(wù)啟動(dòng)方式：分別啟動(dòng)各節(jié)點(diǎn)服務(wù)、集群腳本啟動(dòng)整個(gè)服務(wù)。
  

  創(chuàng)新互聯(lián)是一家專業(yè)提供東港企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、H5響應(yīng)式網(wǎng)站、小程序制作等業(yè)務(wù)。10年已為東港眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。

  • 單獨(dú)啟停nn、dn服務(wù)

    hadoop-daemon.sh namenode | datanode | journalnode |zkfc
    hadoop-daemons.sh namenode | datanode |z kfc#表示啟動(dòng)集群內(nèi)所有dn/nn服務(wù)

  • 啟動(dòng)yarn服務(wù)

    yarn-daemon.sh start |stop resourcemanager | nodemanager | proxyserver
    yarn-daemons.sh start |stop resourcemanager | nodemanager | proxyserver #表示啟動(dòng)yarn集群內(nèi)所有rm/nm等服務(wù)

  • 啟動(dòng)MapReduce任務(wù)歷史服務(wù)

    mr-jobhistory-daemon.sh start | stop historyserver

  [root@hadoop1 ~]# hadoop-daemons.sh start journalnode
  hadoop1: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop1.out
  hadoop2: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop2.out
  hadoop3: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop3.out
  [root@hadoop1 ~]# jps
  1628 JournalNode
  1663 Jps
  [root@hadoop1 ~]# ssh hadoop2 jps
  1513 Jps
  1452 JournalNode
  [root@hadoop1 ~]# ssh hadoop3 jps
  1473 Jps
  1412 JournalNode

  • 腳本管理所有服務(wù)：需要配置ssh互信以及配置slaves文件

    start-dfs.sh | stop-dfs.sh #啟停所有hdfs服務(wù)
    start-yarn.sh | stop-yarn.sh #啟停所有yarn服務(wù)
    start-all.sh | stop-all.sh #可以啟停所有hdfs、yarn服務(wù)，這兩個(gè)腳本即將廢棄，建議使用上面兩個(gè)腳本管理服務(wù)。
    

• hdfs文件系統(tǒng)管理
  • hadoop命令使用

    Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
    fs                   run a generic filesystem user client#運(yùn)行一個(gè)文件系統(tǒng)客戶端
    version              print the version #查看版本信息
    jar             run a jar file #運(yùn)行jar文件，注使用**yarn jar**運(yùn)行yarn應(yīng)用
    distcp    #遞歸復(fù)制文件或目錄；DistCp（分布式拷貝）是用于大規(guī)模集群內(nèi)部和集群之間拷貝的工具。 它使用Map/Reduce實(shí)現(xiàn)文件分發(fā)，錯(cuò)誤處理和恢復(fù)，以及報(bào)告生成
    archive -archiveName NAME -p  *  #創(chuàng)建hadoop歸檔文件
    classpath            #列出所需要的類庫(kù)  

    bash$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

  • 用戶文件系統(tǒng)管理相關(guān)命令：操作基本類似Linux

    [root@hadoop2 ~]# hadoop/hdfs  fs
    Usage: hadoop fs [generic options]
    [-cat [-ignoreCrc]  ...]  #查看文件內(nèi)容
    [-checksum  ...] #查看文件校驗(yàn)碼
    [-chgrp [-R] GROUP PATH...]  #修改文件屬組
    [-chmod [-R]  PATH...] #修改文件權(quán)限
    [-chown [-R] [OWNER][:[GROUP]] PATH...] #修改文件屬主或?qū)俳M
    [-copyFromLocal [-f] [-p] [-l]  ... ] #復(fù)制本地文件到hdfs文件系統(tǒng)，類似put命令
    [-copyToLocal [-p] [-ignoreCrc] [-crc]  ... ] #復(fù)制hdfs文件到本地，類似get命令
    [-cp [-f] [-p | -p[topax]]  ... ] #允許多源復(fù)制操作 ，目標(biāo)路徑必須是目錄
    [-createSnapshot  []] #創(chuàng)建快照
    [-deleteSnapshot  ] #刪除快照
    [-df [-h] [ ...]] #顯示文件系統(tǒng)使用空間
    [-du [-s] [-h]  ...] #顯示某個(gè)目錄內(nèi)包含的文件的大小，目錄占用空間大小，與Linux命令一樣
    [-find  ...  ...] #查找文件
    [-get [-p] [-ignoreCrc] [-crc]  ... ]
    [-getfacl [-R] ]
    [-getfattr [-R] {-n name | -d} [-e en] ]
    [-help [cmd ...]] #查看幫助
    [-ls [-d] [-h] [-R] [ ...]]  #替代“hadoop fs -ls -R”
    [-mkdir [-p]  ...] #創(chuàng)建目錄
    [-moveFromLocal  ... ]
    [-moveToLocal  ]
    [-mv  ... ]
    [-put [-f] [-p] [-l]  ... ]
    [-renameSnapshot   ]
    [-rm [-f] [-r|-R] [-skipTrash]  ...]
    [-rmdir [--ignore-fail-on-non-empty]  ...]
    [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set  ]]
    [-setfattr {-n name [-v value] | -x name} ]
    [-stat [format]  ...] 
    [-tail [-f] ]
    [-test -[defsz] ] #測(cè)試命令 ，-d是否為目錄，-e文件是否存在，-z是否為空文件，用法一樣
    [-text [-ignoreCrc]  ...]
    [-touchz  ...] #創(chuàng)建 0字節(jié)空文件
    [-truncate [-w]   ...]
    [-usage [cmd ...]] #查看命令的用法

    

  • hdfs管理命令

    [root@hadoop2 ~]# hdfs haadmin  # dfs管理客戶端，查看hdfs狀態(tài)集群
    Usage: haadmin 
    [-transitionToActive [--forceactive] ] 
    [-transitionToStandby ]
    [-failover [--forcefence] [--forceactive]  ] #以上3條關(guān)于手動(dòng)故障轉(zhuǎn)移命令
    [-getServiceState ] #查看nn節(jié)點(diǎn)處active還是standby狀態(tài)
    [-checkHealth ] #檢查nn節(jié)點(diǎn)是否健康
    [-help ] #查看命令幫助

    

    Usage: hdfs dfsadmin ：Note: hdfs超級(jí)管理員才能夠運(yùn)行該命令
    [-report [-live] [-dead] [-decommissioning]] #報(bào)告文件系統(tǒng)的基本信息和統(tǒng)計(jì)信息
    [-safemode ]  #安全模式維護(hù)命令。安全模式是Namenode的一個(gè)狀態(tài)， 不接受對(duì)名字空間的更改(只讀)、 不復(fù)制或刪除塊
    [-saveNamespace] #保存當(dāng)前名稱空間到存儲(chǔ)目錄，開始新edit-log，需要安全模式
    [-rollEdits] 
    [-restoreFailedStorage true|false|check]
    [-refreshNodes]  #重新讀取hosts和exclude文件，更新允許連到NN的那些需要退出或新加入的Datanode。
    [-setQuota  ...] #限制一個(gè)目錄包含最多子目錄和文件 
    #hdfs dfsadmin -setQuota 1t  /user/dirname
    [-clrQuota ...]
    [-setSpaceQuota  [-storageType ] ...] #設(shè)置一個(gè)目錄最多使用空間
    [-clrSpaceQuota [-storageType ] ...]
    [-refreshServiceAcl] 
    [-refreshUserToGroupsMappings]
    [-refreshSuperUserGroupsConfiguration]
    [-refreshCallQueue] #刷新請(qǐng)求隊(duì)列
    [-refresh   [arg1..argn]
    [-reconfig   ]  #將datanode節(jié)點(diǎn)重新加入集群
    [-refreshNamenodes datanode_host:ipc_port]
    [-deleteBlockPool datanode_host:ipc_port blockpoolId [force]]
    [-setBalancerBandwidth ]
    [-fetchImage ]
    [-allowSnapshot ] #某目錄允許快照才可以進(jìn)行快照
    [-disallowSnapshot ]
    [-shutdownDatanode  [upgrade]]
    [-getDatanodeInfo ]
    [-metasave filename]    

  • 數(shù)據(jù)塊重新分布，Ctrl-C來停止平衡過程

    hadoop balancer [-threshold ] # 磁盤容量的百分比
    hdfs達(dá)到平衡狀態(tài)達(dá)到磁盤使用率偏差值，值越低越平衡，但消耗時(shí)間也越長(zhǎng)。

• yarn資源集群管理

  [root@hadoop2 ~]# yarn rmadmin #resourcemanager 客戶端
  Usage: yarn rmadmin
  -refreshQueues  #重載隊(duì)列的acl、狀態(tài)及調(diào)度器隊(duì)列
  -refreshNodes #為RM刷新主機(jī)信息
  -refreshSuperUserGroupsConfiguration 
  -refreshUserToGroupsMappings 
  -refreshAdminAcls 
  -refreshServiceAcl 
  -addToClusterNodeLabels [label1,label2,label3] (label splitted by ",")
  -removeFromClusterNodeLabels [label1,label2,label3] (label splitted by ",")
  -replaceLabelsOnNode [node1[:port]=label1,label2 node2[:port]=label1,label2]
  -directlyAccessNodeLabelStore 
  -transitionToActive [--forceactive] #rm節(jié)點(diǎn)故障轉(zhuǎn)移
  -transitionToStandby 
  -failover [--forcefence] [--forceactive]  
  -getServiceState #檢查當(dāng)前rm狀態(tài)
  -checkHealth  
  -help [cmd]

• ha hadoop啟動(dòng)流程：安裝完第一次啟動(dòng)。。。
  集群搭建環(huán)境：
  步驟1：?jiǎn)?dòng)zookeeper服務(wù)。由于ha hadoop依賴zookeeper服務(wù)。
  
  步驟2：hadoop啟動(dòng)
  1. 啟動(dòng)journalnode日志服務(wù)
     
  2. 在hadoop1上格式化namenode，僅當(dāng)?shù)谝淮螁?dòng)時(shí)需要格式化。出現(xiàn)該信息表示成功。

     hdfs namenode -format
     

  3. 在節(jié)點(diǎn)1上啟動(dòng)namenode節(jié)點(diǎn)，由于采用主備模式NN節(jié)點(diǎn)，hadoop2上nn節(jié)點(diǎn)缺少元數(shù)據(jù)信息還不會(huì)啟動(dòng)，需要手動(dòng)同步一次元數(shù)據(jù)。

     hadoop1：hadoop-daemon.sh start namenode
     hadoop2：hdfs namenode -bootstrapStandby,在啟動(dòng)nn

  4. 在hadoop1上格式化zkfc，無報(bào)錯(cuò)及為成功（僅在第一次啟動(dòng)之前需要格式化，后面啟動(dòng)不需要格式化）。（如果不進(jìn)行這一步，會(huì)出現(xiàn)namenode無法向zookeeper注冊(cè)，會(huì)出現(xiàn)兩個(gè)namenode都為備的狀態(tài)。

     hdfs zkfc -formatZK
     hadoop-daemon.sh start zkfc #把故障轉(zhuǎn)移節(jié)點(diǎn)服務(wù)啟動(dòng)，否則當(dāng)前狀態(tài)都為standby！

  5. 然后可以啟動(dòng)各節(jié)點(diǎn)的hdfs、yarn服務(wù)
     
  6. 查看各節(jié)點(diǎn)的服務(wù)進(jìn)程是否正常運(yùn)行
     
• webgui訪問