這篇文章主要介紹Hadoop怎么設(shè)置HDFS的塊大小,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
創(chuàng)新互聯(lián)是專業(yè)的昭化網(wǎng)站建設(shè)公司,昭化接單;提供成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè),網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行昭化網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!
HDFS是設(shè)計來存儲和管理大數(shù)據(jù)的,因此典型的HDFS塊大小明顯比平時我們看到的傳統(tǒng)文件系統(tǒng)塊大得多,塊大小的設(shè)置用來將大文件切割成一個數(shù)據(jù)塊,再將這些數(shù)據(jù)塊分發(fā)到集群上,例如集群的塊大小設(shè)置為64MB,一個128MB的文件上傳到HDFS上,HDFS會將這個文件切分成2(128/64)個數(shù)據(jù)塊,再將這兩塊數(shù)據(jù)分發(fā)到集群的數(shù)據(jù)節(jié)點上。
設(shè)置塊大?。?br/>打開hdfs-site.xml,(在hadoop安裝目錄下的conf文件夾里)
操作步驟:
設(shè)置hdfs-site.xml下面的屬性值:
修改說明:
hdfs-site.xml是HDFS的配置文件,修改hdfs-site.xml配置文件的dfs.block.size屬性值就會改變上傳到HDFS所有文件的默認(rèn)塊大小。修改這個值并不會對HDFS上現(xiàn)存的任何文件的塊大小產(chǎn)生影響,只會改變新上傳文件的塊大小。
以上是“Hadoop怎么設(shè)置HDFS的塊大小”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!