小編給大家分享一下HDFS基礎(chǔ)配置安裝及命令使用的示例分析，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！
專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、成都做網(wǎng)站服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)蘇仙免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上千多家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。
HDFS是基于Java的文件系統(tǒng)，可在Hadoop生態(tài)系統(tǒng)中提供可擴展且可靠的數(shù)據(jù)存儲。因此，我們需要了解基本的HDFS配置和命令才能正常使用它。在使用之前，我們首先討論如何配置安裝HDFS。Hadoop以及HDFS都運行在java環(huán)境中，因此我們都需要安裝JDK：
yum -y install jdk(或手動安裝）
設(shè)置namenode節(jié)點到datanode節(jié)點的免密登陸
1、本地免密登錄
# ssh localhost #檢測能否在本機上實現(xiàn)免密碼登陸 # ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #創(chuàng)建登陸的公鑰和私鑰，公鑰放在id_dsa.pub中，私鑰放在id_dsa中
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #將公鑰追加到已認證信息中 # ssh localhost #實現(xiàn)免密碼登陸
2、跨主機免密登陸
# scp ~/.ssh/id_dsa.pub root@node2:~/.ssh/ #在namenode上執(zhí)行 # cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #將公鑰追加到已認證信息中，在datanode上執(zhí)行該操作
3、對所有datanode執(zhí)行上述操作
設(shè)置域名解析（在所有節(jié)點增加）
# vi /etc/hosts # 增加節(jié)點對應(yīng)節(jié)點，如果不加入節(jié)點則需要在配置文件中寫節(jié)點IP 192.168.150.128 node1 192.168.150.129 node2 192.168.150.130 node3 192.168.150.131 node4
由于Hadoop有bin包，所以下載后只需解壓即可使用。如果我們使用的是版本hadoop-1.2.1，那就將軟件解壓到/root/hadoop-1.2.1文件夾中。
注意：namenode和datanode軟件包的放置位置要完全相同，否則在集群啟動服務(wù)時會出現(xiàn)找不到文件的情況。
配置
#vi /root/hadoop-1.2.1/conf/core-site.xml ????????? ????其它具體配置可以查看./hadoop-1.2.1/docs的文檔。 ??#vi /root/hadoop-1.2.1/conf/hdfs-site.xml?????????? ?????fs.default.name # namenode節(jié)點名 ??????hdfs://node1:9000 #namenode域名（或IP）和端口 ??????????? ????hadoop.tmp.dir #文件儲存目錄 ??????/opt/hadoop-1.2 #fs的放置位置 ????????? ??#vi /root/hadoop-1.2.1/conf/slaves #該文件設(shè)置datanode節(jié)點的域名（IP） ????node2 ????node3 ??#vi /root/hadoop-1.2.1/conf/masters #該文件設(shè)置secondarynamenode節(jié)點的域名（IP） ????node2 # 只要跟namenode不在同一臺機器上即可????#vi /root/hadoop-1.2.1/conf/hadoop-env.sh #設(shè)置運行環(huán)境 ????export JAVA_HOME=/usr/java/jdk1.7.0_79 # 只要設(shè)置jdk的目錄即可 ??在所有的節(jié)點上進行上述的相同配置。dfs.replication #block的副本數(shù)，不能超過datanode的數(shù)目 ????2 ????
HDFS本地Golang客戶端實踐
基于上述基礎(chǔ)配置，我們也可以嘗試配置HDFS的本地golang客戶端，它使用協(xié)議緩沖區(qū)API直接連接namenode，使用stdlib os包并實現(xiàn)相應(yīng)接口，包括os.FileInfo和os.PathError。
這是它在action中的狀態(tài)：
重慶分公司
重慶分公司
client, _ := hdfs.New("namenode:8020")file, _ := client.Open("/mobydick.txt")buf := make([]byte, 59)
file.ReadAt(buf, 48847)
fmt.Println(string(buf))// => Abominable are the tumblers into which he pours his poison.HDFS二進制文件
與庫類似，此repo包含HDFS命令行客戶端，主要目標(biāo)是啟用unix動詞實現(xiàn)：
$ hdfs --help Usage: hdfs COMMAND The flags available are a subset of the POSIX ones, but should behave similarly. Valid commands: ls [-lah] [FILE]... rm [-rf] FILE... mv [-fT] SOURCE... DEST mkdir [-p] FILE... touch [-amc] FILE... chmod [-R] OCTAL-MODE FILE... chown [-R] OWNER[:GROUP] FILE... cat SOURCE... head [-n LINES | -c BYTES] SOURCE... tail [-n LINES | -c BYTES] SOURCE... du [-sh] FILE... checksum FILE... get SOURCE [DEST] getmerge SOURCE DEST put SOURCE DEST
由于它不必等待JVM啟動，所以hadoop -fs要快得多：
$ time hadoop fs -ls / > /dev/null real 0m2.218s user 0m2.500s sys 0m0.376s $ time hdfs ls / > /dev/null real 0m0.015s user 0m0.004s sys 0m0.004s
安裝命令行客戶端
從發(fā)布頁面抓取tarball并將其解壓縮到任意位置。
要配置客戶端，請確保其中一個或兩個環(huán)境變量指向Hadoop配置（core-site.xml和hdfs-site.xml）。在安裝了Hadoop的系統(tǒng)上，應(yīng)該已經(jīng)設(shè)置過上述變量。
$ export HADOOP_HOME="/etc/hadoop" $ export HADOOP_CONF_DIR="/etc/hadoop/conf"
要在linux上完成選項卡安裝，請將tarball附帶的bash_completion文件復(fù)制或鏈接到正確位置：
$ ln -sT bash_completion /etc/bash_completion.d/gohdfs
默認情況下，在非kerberized集群上，HDFS用戶可設(shè)置為當(dāng)前登錄用戶，也可以使用另一個環(huán)境變量覆蓋它：
$ export HADOOP_USER_NAME=username
使用帶有Kerberos身份驗證的命令行客戶端
與hadoop fs一樣，命令行客戶端需要在默認位置使用ccache文件：/ tmp / krb5cc_
$ kinit bob@EXAMPLE.com $ hdfs ls /
如果不起作用，請嘗試將KRB5CCNAME環(huán)境變量設(shè)置為保存ccache的位置。
兼容性
該庫使用HDFS協(xié)議的“Version 9”，這意味著它應(yīng)該使用基于2.2.x及更高版本的Hadoop發(fā)行版，測試針對CDH 5.x和HDP 2.x運行。
檢查機器是否能與HDFS通信
如果想檢查一臺機器是否可以與另一臺機器上運行的HDFS服務(wù)器通信，并從Hadoop wiki中修改一些代碼，如下所示:
package org.playground;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public class HadoopDFSFileReadWrite {
static void printAndExit(String str) {
System.err.println( str );
System.exit(1);
}
public static void main (String[] argv) throws IOException {
Configuration conf = new Configuration();
conf.addResource(new Path("/Users/markneedham/Downloads/core-site.xml"));
FileSystem fs = FileSystem.get(conf);
Path inFile = new Path("hdfs://192.168.0.11/user/markneedham/explore.R");
Path outFile = new Path("hdfs://192.168.0.11/user/markneedham/output-" + System.currentTimeMillis());
// Check if input/output are valid
if (!fs.exists(inFile))
printAndExit("Input file not found");
if (!fs.isFile(inFile))
printAndExit("Input should be a file");
if (fs.exists(outFile))
printAndExit("Output already exists");
// Read from and write to new file
byte buffer[] = new byte[256];
try ( FSDataInputStream in = fs.open( inFile ); FSDataOutputStream out = fs.create( outFile ) )
{
int bytesRead = 0;
while ( (bytesRead = in.read( buffer )) > 0 )
{
out.write( buffer, 0, bytesRead );
}
}
catch ( IOException e )
{
System.out.println( "Error while copying file" );
}
}
}我最初以為POM文件中只有以下內(nèi)容:
org.apache.hadoop hadoop-common 2.7.0
但運行腳本時，我得到了以下結(jié)果:
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.(Ljava/util/zip/Checksum;II)V at org.apache.hadoop.hdfs.DFSOutputStream. (DFSOutputStream.java:1553) at org.apache.hadoop.hdfs.DFSOutputStream. (DFSOutputStream.java:1582) at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1614) at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1465) at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1390) at org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:394) at org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:390) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:390) at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:334) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:909) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:890) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:787) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:776) at org.playground.HadoopDFSFileReadWrite.main(HadoopDFSFileReadWrite.java:37) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)
通過跟蹤堆棧跟蹤，我意識到犯了一個錯誤，即對hadoop-hdfs 2.4.1進行了依賴。如果沒有hadoop-hdfs依賴，我們會看到如下錯誤:
Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:170) at org.playground.HadoopDFSFileReadWrite.main(HadoopDFSFileReadWrite.java:22) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)
現(xiàn)在，讓我們添加正確的依賴項版本，并確?？梢园凑疹A(yù)期工作:
org.apache.hadoop hadoop-hdfs 2.7.0 ch.qos.logback logback-classic javax.servlet servlet-api
運行時，它會在另一臺機器上用當(dāng)前時間戳在HDFS中創(chuàng)建一個新文件:
$ date +%s000 1446336801000 $ hdfs dfs -ls ... -rw-r--r-- 3 markneedham supergroup 9249 2015-11-01 00:13 output-1446337098257 ...
（該項目開源地址：https://github.com/colinmarc/hdfs）
基礎(chǔ)HDFS命令
完成安裝配置后，我們需要了解HDFS基礎(chǔ)命令，需要知道每個命令的詳細語法。一般語法如下：
hadoop dfs [COMMAND [COMMAND_OPTIONS]]
這將在Hadoop（HDFS）支持的文件系統(tǒng)上運行filesystem命令，其余Command選項如下所示：
1、put命令
'put'命令將數(shù)據(jù)輸入HDFS。
語法：hadoop dfs -put
2、List命令
'list'命令顯示特定路徑中的所有可用文件。
語法：hadoop dfs -ls
3、Get命令
'get'命令將上述文件的全部內(nèi)容復(fù)制到本地驅(qū)動器。
語法：hadoop dfs -get
4、Make Directory命令
'mkdir'命令在指定位置創(chuàng)建一個新目錄。
語法：hadoop dfs -mkdir
5、查看特定文件的內(nèi)容
'cat'命令用于顯示文件的所有內(nèi)容。
語法：hadoop dfs -cat
6、復(fù)制HDFS內(nèi)的完整文件
'copyfromlocal'命令將文件從本地文件系統(tǒng)復(fù)制到HDFS。
語法：hadoop dfs -copyFromLocal
7、將文件從HDFS復(fù)制到本地文件系統(tǒng)。
'copytolocal'命令將文件從HDFS復(fù)制到本地文件系統(tǒng)。
語法：hadoop dfs -copyToLocal
8、刪除文件
命令'rm'將刪除存儲在HDFS中的文件。
語法：hadoop dfs -rm
9、運行DFS文件系統(tǒng)以檢查實用程序
命令'fsck'用于檢查文件系統(tǒng)的一致性
語法：hadoop fsck
10、集群負載均衡程序
'balancer'命令將檢查集群中節(jié)點的工作負載并進行平衡。
語法：hadoop balancer
11、檢查HDFS中的目錄空間
該命令將顯示集群內(nèi)文件占用的大小。
語法：hadoop dfs -du -s -h
12、列出所有Hadoop文件系統(tǒng)Shell命令
'fs'命令列出了Hadoop文件系統(tǒng)的所有shell命令。
語法：hadoop fs [options]
