真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Hadoop文件系統(tǒng)有哪些

這篇文章主要介紹Hadoop文件系統(tǒng)有哪些,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!

站在用戶的角度思考問(wèn)題,與客戶深入溝通,找到大足網(wǎng)站設(shè)計(jì)與大足網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗(yàn),讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品,建站類型包括:網(wǎng)站制作、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、虛擬主機(jī)、企業(yè)郵箱。業(yè)務(wù)覆蓋大足地區(qū)。

Hadoop有一個(gè)抽象的文件系統(tǒng)概念,HDFS只是其中的一個(gè)實(shí)現(xiàn)。Java抽象類 org.apache.hadoop.fs.FileSystem展示了Hadoop的一個(gè)文件系統(tǒng),而且有幾個(gè)具體實(shí)現(xiàn),如表 3-1所示。

文件系統(tǒng)

URI
方案

Java實(shí)

現(xiàn)(全部在
org.apache.hadoop)

描述

Local

file

fs.LocalFileSystem

針對(duì)有客戶端校驗(yàn)和

的本地連接磁盤(pán)使用

的文件系統(tǒng)。針對(duì)沒(méi)

有校驗(yàn)和的本

地文件系統(tǒng)使用

RawLocalFileSystem。

詳情參見(jiàn)第4章

HDFS

hdfs

hdfs.Distributed-

FileSystem

Hadoop的分布式

文件系統(tǒng)。HDFS

被設(shè)計(jì)為結(jié)合使用

Map-Reduce實(shí)現(xiàn)高

效工作

HFTP

hftp

hdfs.HftpFileSystem

一個(gè)在HTTP上提

供對(duì)HDFS只讀訪

問(wèn)的文件系統(tǒng)(雖然

其名稱為HFTP,但

它與FTP無(wú)關(guān))。通

常與distcp結(jié)合使用

(參見(jiàn)第3章),在運(yùn)

行不同版本HDFS的

集群間復(fù)制數(shù)據(jù)

HSFTP

hsftp

hdfs.Hsftp-
FileSystem

在HTTPS上提供對(duì)

HDFS只讀訪問(wèn)的

文件系統(tǒng)(同上,與

FTP無(wú)關(guān))

HAR

har

fs.HarFileSystem

一個(gè)構(gòu)建在其他文

件系統(tǒng)上來(lái)存檔文

件的文件系統(tǒng)。Hadoop

存檔一般在HDFS中

的文件存檔時(shí)使用,

以減少名稱節(jié)點(diǎn)內(nèi)存的使用

KFS(Cloud-Store)

kfs

fs.kfs.Kosmos-
FleSystem

cloudstore(其前身是

Kosmos文件系統(tǒng))

是相似于HDFS或是

Google的GFS的文件

系統(tǒng),用C++編

寫(xiě)。詳

情可參見(jiàn)http://kosmosfs.
sourceforge.net/

FTP

ftp

fs.ftp.FTP-
FileSystem

由FTP服務(wù)器支持的

文件系統(tǒng)

S3(本地)

s3n

fs.s3native.Native-
S3FileSystem.

由Amazon S3支

持的文件

系統(tǒng)??蓞⒁?jiàn)

http://wiki.apache.org
/hadoop/AmazonS3

S3(基于
塊)

s3

fs.s3.S3FileSystem

由 Amazon S3支

持的文件系統(tǒng),

以塊格式存儲(chǔ)文件

(與HDFS很相似)

來(lái)解決S3的5 GB

文件大小限制


Hadoop提供了許多文件系統(tǒng)的接口,它一般使用URI 方案來(lái)選取合適的文件系統(tǒng)實(shí)例交互。舉例來(lái)說(shuō),我們?cè)谇耙恍」?jié)中研究的文件系統(tǒng)shell可以操作所有的Hadoop文件系統(tǒng)。列出本地文件系統(tǒng)根目錄下的文件,輸入以下命令:

1.  % hadoop fs -ls file:/// 

盡管運(yùn)行那些可訪問(wèn)任何文件系統(tǒng)的MapReduce程序是可行的(有時(shí)也很方便),但在處理大量數(shù)據(jù)時(shí),仍然需要選擇一個(gè)有最優(yōu)本地?cái)?shù)據(jù)的分布式文件系統(tǒng),如HDFS或者KFS。

以上是“Hadoop文件系統(tǒng)有哪些”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!


網(wǎng)站名稱:Hadoop文件系統(tǒng)有哪些
網(wǎng)頁(yè)URL:http://weahome.cn/article/pcjhid.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部