HDFS是一個(gè)分布式文件系統(tǒng)，既然是文件系統(tǒng)，就可以對(duì)其文件進(jìn)行操作，比如說(shuō)新建文件、刪除文件、讀取文件內(nèi)容等操作。下面記錄一下使用JAVA API對(duì)HDFS中的文件進(jìn)行操作的過(guò)程。
專(zhuān)注于為中小企業(yè)提供做網(wǎng)站、網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)鼓樓免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了成百上千家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
對(duì)分HDFS中的文件操作主要涉及一下幾個(gè)類(lèi)：
Configuration類(lèi)：該類(lèi)的對(duì)象封轉(zhuǎn)了客戶(hù)端或者服務(wù)器的配置。
FileSystem類(lèi)：該類(lèi)的對(duì)象是一個(gè)文件系統(tǒng)對(duì)象，可以用該對(duì)象的一些方法來(lái)對(duì)文件進(jìn)行操作。FileSystem fs = FileSystem.get(conf);通過(guò)FileSystem的靜態(tài)方法get獲得該對(duì)象。
FSDataInputStream和FSDataOutputStream：這兩個(gè)類(lèi)是HDFS中的輸入輸出流。分別通過(guò)FileSystem的open方法和create方法獲得。
具體如何對(duì)文件操作清下下面例子：
重慶分公司
重慶分公司
package com.hdfs;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class HdfsTest {
//創(chuàng)建新文件
public static void createFile(String dst , byte[] contents) throws IOException{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path dstPath = new Path(dst); //目標(biāo)路徑
//打開(kāi)一個(gè)輸出流
FSDataOutputStream outputStream = fs.create(dstPath);
outputStream.write(contents);
outputStream.close();
fs.close();
System.out.println("文件創(chuàng)建成功！");
}
//上傳本地文件
public static void uploadFile(String src,String dst) throws IOException{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path srcPath = new Path(src); //原路徑
Path dstPath = new Path(dst); //目標(biāo)路徑
//調(diào)用文件系統(tǒng)的文件復(fù)制函數(shù),前面參數(shù)是指是否刪除原文件，true為刪除，默認(rèn)為false
fs.copyFromLocalFile(false,srcPath, dstPath);
//打印文件路徑
System.out.println("Upload to "+conf.get("fs.default.name"));
System.out.println("------------list files------------"+"\n");
FileStatus [] fileStatus = fs.listStatus(dstPath);
for (FileStatus file : fileStatus)
{
System.out.println(file.getPath());
}
fs.close();
}
//文件重命名
public static void rename(String oldName,String newName) throws IOException{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path oldPath = new Path(oldName);
Path newPath = new Path(newName);
boolean isok = fs.rename(oldPath, newPath);
if(isok){
System.out.println("rename ok!");
}else{
System.out.println("rename failure");
}
fs.close();
}
//刪除文件
public static void delete(String filePath) throws IOException{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path path = new Path(filePath);
boolean isok = fs.deleteOnExit(path);
if(isok){
System.out.println("delete ok!");
}else{
System.out.println("delete failure");
}
fs.close();
}
//創(chuàng)建目錄
public static void mkdir(String path) throws IOException{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path srcPath = new Path(path);
boolean isok = fs.mkdirs(srcPath);
if(isok){
System.out.println("create dir ok!");
}else{
System.out.println("create dir failure");
}
fs.close();
}
//讀取文件的內(nèi)容
public static void readFile(String filePath) throws IOException{
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path srcPath = new Path(filePath);
InputStream in = null;
try {
in = fs.open(srcPath);
IOUtils.copyBytes(in, System.out, 4096, false); //復(fù)制到標(biāo)準(zhǔn)輸出流
} finally {
IOUtils.closeStream(in);
}
}
public static void main(String[] args) throws IOException {
//測(cè)試上傳文件
//uploadFile("D:\\c.txt", "/user/hadoop/test/");
//測(cè)試創(chuàng)建文件
/*byte[] contents = "hello world 世界你好\n".getBytes();
createFile("/user/hadoop/test1/d.txt",contents);*/
//測(cè)試重命名
//rename("/user/hadoop/test/d.txt", "/user/hadoop/test/dd.txt");
//測(cè)試刪除文件
//delete("test/dd.txt"); //使用相對(duì)路徑
//delete("test1"); //刪除目錄
//測(cè)試新建目錄
//mkdir("test1");
//測(cè)試讀取文件
readFile("test1/d.txt");
}
}
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持創(chuàng)新互聯(lián)。
