Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)，它提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序，那么在實(shí)際應(yīng)用中我們?nèi)绾蝸聿僮魇褂媚兀?/p>

創(chuàng)新互聯(lián)專注于企業(yè)網(wǎng)絡(luò)營銷推廣、網(wǎng)站重做改版、烏恰網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、成都商城網(wǎng)站開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為烏恰等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

一、HDFS操作方式：

1、 命令行操作

–FsShell：
$ hdfs dfs

2、 其他的計(jì)算框架-如spark

通過URI，比如： hdfs://nnhost:port/file…，調(diào)用HDFS的協(xié)議、主機(jī)、端口或者對(duì)外提供的服務(wù)媒、以及文件，在spark的程序中實(shí)現(xiàn)對(duì)HDFS的訪問。

3、 其他程序：

（1）Java的API，借助于其他的一些計(jì)算框架或者分析工具都可以訪問HDFS，如Sqoop加載數(shù)據(jù)到HDFS，F(xiàn)lume加載日志到HDFS，Impala基于HDFS進(jìn)行查詢

（2）REST API：通過HTP的方式訪問HDFS。

二、重點(diǎn)關(guān)注HDFS命令行的方式：

    （1）從本地磁盤拷貝文件foo.txt到HDFS的用戶目錄

–   文件將會(huì)拷貝到/user/username/foo.txt

（2）獲取用戶home目錄的目錄列表

（3）獲取HDFS的根目錄

（4）顯示HDFS文件/user/fred/bar.txt內(nèi)容

（5）拷貝文件到本地磁盤，命名為baz.txt

（6）在用戶home目錄下創(chuàng)建input目錄

     （7）刪除input_old目錄和所有里面的內(nèi)容

三、通過HUe進(jìn)行操作。

通過File Browser可以瀏覽和管理HDFS的目錄和文件,也可以創(chuàng)建、移動(dòng)、重命名、修改、上傳、下載和刪除目錄和文件,以及查看文件內(nèi)容

四、HDFS推薦

HDFS是所有數(shù)據(jù)的倉庫，在使用HDFS的時(shí)候應(yīng)該對(duì)其目錄（如日志目錄、數(shù)據(jù)目錄）進(jìn)行合理地規(guī)劃和組織。最佳實(shí)踐方式是定義標(biāo)準(zhǔn)目錄結(jié)構(gòu)以及把階段臨時(shí)的數(shù)據(jù)分開。規(guī)劃示例如下：

（1）/user-用戶目錄，存放屬于個(gè)別用戶的數(shù)據(jù)和配置信息

（2）/etl-ETL階段的數(shù)據(jù)

（3）/tmp-臨時(shí)生成的用戶在用戶間共享的數(shù)據(jù)

（4）/data-整個(gè)組織用來分析的和處理的數(shù)據(jù)集

（5）/app-非數(shù)據(jù)文件，比如：配置文件，JAR文件，SQL文件等

   掌握以上四步對(duì)于應(yīng)用HDFS有著重要的作用和意義，但是大家應(yīng)該根據(jù)自己的情況循序漸進(jìn)，注重實(shí)踐，才可以不斷取得進(jìn)步。我平時(shí)喜歡找一些案例進(jìn)行分析，從而鍛煉提升自己的技能，這個(gè)比較喜歡“大數(shù)據(jù)cn ”這個(gè)微信服務(wù)平臺(tái)。但是真知更多源于實(shí)踐，只有學(xué)習(xí)和了解他人的經(jīng)驗(yàn)，才可以走的更高更遠(yuǎn)，我愛關(guān)注微信訂閱號(hào)“大數(shù)據(jù)時(shí)代學(xué)習(xí)中心”，研究各位數(shù)據(jù)大牛的經(jīng)驗(yàn)分享，對(duì)于促進(jìn)我個(gè)人的技術(shù)成長有著非凡的意義。