這篇文章主要介紹HDFS中Java API的訪問方式有哪些，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

公司主營業(yè)務：成都網(wǎng)站設計、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設公司、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出寶山免費做網(wǎng)站回饋大家。

實現(xiàn)代碼

要導入的包：

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

實體方法：

/**
   * 獲取HDFS文件系統(tǒng)
   * @return
   * @throws IOException 
   * @throws URISyntaxException 
   */
public static FileSystem getFileSystem() throws IOException, URISyntaxException{
	//read config file
	Configuration conf = new Configuration();
	//返回默認文件系統(tǒng)
	//如果在Hadoop集群下運行，使用此種方法可以直接獲取默認文件系統(tǒng)
	//FileSystem fs = FileSystem.get(conf);
	//指定的文件系統(tǒng)地址
	URI uri = new URI("hdfs://hy:9000");
	//返回指定的文件系統(tǒng)
	//如果在本地測試，需要使用此種方法獲取文件系統(tǒng)
	FileSystem fs = FileSystem.get(uri, conf);
	return fs;
}
/**
   * 創(chuàng)建文件目錄
   * @throws Exception
   */
public static void mkdir() throws Exception{
	//獲取文件系統(tǒng)
	FileSystem fs = getFileSystem();
	//創(chuàng)建文件目錄
	fs.mkdirs(new Path("hdfs://hy:9000/hy/weibo"));
	//釋放資源
	fs.close();
}
/**
   * 刪除文件或者文件目錄
   * @throws Exception
   */
public static void rmdir() throws Exception{
	//獲取文件系統(tǒng)
	FileSystem fs = getFileSystem();
	//刪除文件或者文件目錄
	fs.delete(new Path("hdfs://hy:9000/hy/weibo"), true);
	//釋放資源
	fs.close();
}
/**
   * 獲取目錄下所有文件
   * @throws Exception
   */
public static void listAllFile() throws Exception{
	//獲取文件系統(tǒng)
	FileSystem fs = getFileSystem();
	//列出目錄內(nèi)容
	FileStatus[] status = fs.listStatus(new Path("hdfs://hy:9000/hy/"));
	//獲取目錄下所有文件路徑
	Path[] listedPaths = FileUtil.stat2Paths(status);
	//循環(huán)讀取每個文件
	for (Path path : listedPaths) {
		System.out.println(path);
	}
	//釋放資源
	fs.close();
}
/**
   * 將文件上傳至HDFS
   * @throws Exception
   */
public static void copyToHDFS() throws Exception{
	//獲取文件對象
	FileSystem fs = getFileSystem();
	//源文件路徑是Linux下的路徑 Path srcPath = new Path("/home/hadoop/temp.jar");
	//如果需要在windows下測試，需要改為Windows下的路徑，比如 E://temp.jar
	Path srcPath = new Path("E://temp.jar");
	//目的路徑
	Path dstPath = new Path("hdfs://hy:9000/hy/weibo");
	//實現(xiàn)文件上傳
	fs.copyFromLocalFile(srcPath, dstPath);
	//釋放資源
	fs.close();
}
/**
   * 從HDFS上下載文件
   * @throws Exception
   */
public static void getFile() throws Exception{
	//獲得文件系統(tǒng)
	FileSystem fs = getFileSystem();
	//源文件路徑
	Path srcPath = new Path("hdfs://hy:9000/hy/weibo/temp.jar");
	//目的路徑，默認是Linux下的
	//如果在Windows下測試，需要改為Windows下的路徑，如C://User/andy/Desktop/
	Path dstPath = new Path("D://");
	//下載HDFS上的文件
	fs.copyToLocalFile(srcPath, dstPath);
	//釋放資源
	fs.close();
}
/**
   * 獲取HDFS集群點的信息
   * @throws Exception
   */
public static void getHDFSNodes() throws Exception{
	//獲取文件系統(tǒng)
	FileSystem fs = getFileSystem();
	//獲取分布式文件系統(tǒng)
	DistributedFileSystem hdfs = (DistributedFileSystem)fs;
	//獲取所有節(jié)點
	DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
	//循環(huán)比遍歷
	for (int i = 0; i < dataNodeStats.length; i++) {
		System.out.println("DataNote_" + i + "_Name:" + dataNodeStats[i].getHostName());
	}
	//釋放資源
	fs.close();
}
/**
   * 查找某個文件在HDFS集群的位置
   * @throws Exception
   */
public static void getFileLocal() throws Exception{
	//獲取文件系統(tǒng)
	FileSystem fs = getFileSystem();
	//文件路徑
	Path path = new Path("hdfs://hy:9000/hy/weibo/temp.jar");
	//獲取文件目錄
	FileStatus fileStatus = fs.getFileStatus(path);
	//獲取文件塊位置列表
	BlockLocation[] blockLocations = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
	//循環(huán)輸出塊信息
	for (int i = 0; i < blockLocations.length; i++) {
		String[] hosts = blockLocations[i].getHosts();
		System.out.println("block_" + i + "_location:" + hosts[0]);
	}
	//釋放資源
	fs.close();
}

以上是“HDFS中Java API的訪問方式有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！