這篇文章主要介紹Hadoop文件系統(tǒng)有哪些,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
站在用戶的角度思考問(wèn)題,與客戶深入溝通,找到大足網(wǎng)站設(shè)計(jì)與大足網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗(yàn),讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品,建站類型包括:網(wǎng)站制作、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、虛擬主機(jī)、企業(yè)郵箱。業(yè)務(wù)覆蓋大足地區(qū)。
Hadoop有一個(gè)抽象的文件系統(tǒng)概念,HDFS只是其中的一個(gè)實(shí)現(xiàn)。Java抽象類 org.apache.hadoop.fs.FileSystem展示了Hadoop的一個(gè)文件系統(tǒng),而且有幾個(gè)具體實(shí)現(xiàn),如表 3-1所示。
文件系統(tǒng) | URI | Java實(shí) 現(xiàn)(全部在 | 描述 |
Local | file | fs.LocalFileSystem | 針對(duì)有客戶端校驗(yàn)和 的本地連接磁盤(pán)使用 的文件系統(tǒng)。針對(duì)沒(méi) 有校驗(yàn)和的本 地文件系統(tǒng)使用 RawLocalFileSystem。 詳情參見(jiàn)第4章 |
HDFS | hdfs | hdfs.Distributed- FileSystem | Hadoop的分布式 文件系統(tǒng)。HDFS 被設(shè)計(jì)為結(jié)合使用 Map-Reduce實(shí)現(xiàn)高 效工作 |
HFTP | hftp | hdfs.HftpFileSystem | 一個(gè)在HTTP上提 供對(duì)HDFS只讀訪 問(wèn)的文件系統(tǒng)(雖然 其名稱為HFTP,但 它與FTP無(wú)關(guān))。通 常與distcp結(jié)合使用 (參見(jiàn)第3章),在運(yùn) 行不同版本HDFS的 集群間復(fù)制數(shù)據(jù) |
HSFTP | hsftp | hdfs.Hsftp- | 在HTTPS上提供對(duì) HDFS只讀訪問(wèn)的 文件系統(tǒng)(同上,與 FTP無(wú)關(guān)) |
HAR | har | fs.HarFileSystem | 一個(gè)構(gòu)建在其他文 件系統(tǒng)上來(lái)存檔文 件的文件系統(tǒng)。Hadoop 存檔一般在HDFS中 的文件存檔時(shí)使用, 以減少名稱節(jié)點(diǎn)內(nèi)存的使用 |
KFS(Cloud-Store) | kfs | fs.kfs.Kosmos- | cloudstore(其前身是 Kosmos文件系統(tǒng)) 是相似于HDFS或是 Google的GFS的文件 系統(tǒng),用C++編 寫(xiě)。詳 情可參見(jiàn)http://kosmosfs. |
FTP | ftp | fs.ftp.FTP- | 由FTP服務(wù)器支持的 文件系統(tǒng) |
S3(本地) | s3n | fs.s3native.Native- | 由Amazon S3支 持的文件 系統(tǒng)??蓞⒁?jiàn) http://wiki.apache.org |
S3(基于 | s3 | fs.s3.S3FileSystem | 由 Amazon S3支 持的文件系統(tǒng), 以塊格式存儲(chǔ)文件 (與HDFS很相似) 來(lái)解決S3的5 GB 文件大小限制 |
Hadoop提供了許多文件系統(tǒng)的接口,它一般使用URI 方案來(lái)選取合適的文件系統(tǒng)實(shí)例交互。舉例來(lái)說(shuō),我們?cè)谇耙恍」?jié)中研究的文件系統(tǒng)shell可以操作所有的Hadoop文件系統(tǒng)。列出本地文件系統(tǒng)根目錄下的文件,輸入以下命令:
1. % hadoop fs -ls file:///
盡管運(yùn)行那些可訪問(wèn)任何文件系統(tǒng)的MapReduce程序是可行的(有時(shí)也很方便),但在處理大量數(shù)據(jù)時(shí),仍然需要選擇一個(gè)有最優(yōu)本地?cái)?shù)據(jù)的分布式文件系統(tǒng),如HDFS或者KFS。
以上是“Hadoop文件系統(tǒng)有哪些”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!