真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

HDFS與其他并行文件系統(tǒng)的對比

這篇文章主要講解了“HDFS與其他并行文件系統(tǒng)的對比”,文中的講解內(nèi)容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“HDFS與其他并行文件系統(tǒng)的對比”吧!

為仙游等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務,及仙游網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為網(wǎng)站制作、成都做網(wǎng)站、仙游網(wǎng)站設計,以傳統(tǒng)方式定制建設網(wǎng)站,并提供域名空間備案等一條龍服務,秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!


HDFS作為一種新興的并行文件系統(tǒng),和現(xiàn)有的分布式文件系統(tǒng)相似,他們都是運行在普通硬件之上的分布式文件系統(tǒng),然而HDFS與其他分布式文件系統(tǒng)也存在著一些差別。如HDFS具有高容錯性,可以部署在低成本的硬件之上,同時放松了對POSIX的需求,使其可以以流的形式訪問文件數(shù)據(jù),非常適合大數(shù)據(jù)集的應用程序。分析研究HDFS與其他并行文件系統(tǒng)的相同點和不同點,能夠深入了解HDFS系統(tǒng)的應用場景和設計理念。 
(1)訪問的透明性,用戶能通過相同操作來訪問本地文件和遠程文件。HDFS可以做到這一點,但如果HDFS設置成本地文件系統(tǒng),而不是分布式,那么HDFS的應用程序可以直接讀寫本地文件,只需要修改配置文件??梢姡琀DFS提供的訪問透明性是不完全的,畢竟它構建于java之上,不能像NFS和Lustre那樣去修改Unix內(nèi)核,同時將本地文件和遠程文件以一致地方式處理。 
(2)并發(fā)控制,客戶端對文件的讀寫不應該影響其他客戶端對同一個文件的讀寫。要想實現(xiàn)這種單個文件拷貝語義,分布式文件系統(tǒng)需要做出復雜的交互,例如采用時間戳、采用互斥、原子操作等。而HDFS采用的機制非常簡單,任何時間都只允許一個客戶端進行寫操作。當客戶端需要寫文件時,會對這個文件申請一個租約,只有這個租約被釋放,別的客戶端才能申請對這個文件的寫操作。文件經(jīng)創(chuàng)建并寫入關閉之后不再改變,它的模型是“Write-Once-Read-Many”。  
(3)資源移動策略,HDFS支持“移動計算到數(shù)據(jù)”。若一個Map任務是對某個數(shù)據(jù)塊的操作,則這個操作必定是在存儲這個數(shù)據(jù)塊的節(jié)點上完成的,同時HDFS支持數(shù)據(jù)的多副本(默認為3個副本),存儲任一副本的節(jié)點都可以執(zhí)行Map任務的操作,JobTracker會把任務分配給距離客戶端最近的,且存有副本的節(jié)點。 
通過上面三方面的比較,可以深入的理解HDFS的優(yōu)點和缺點,以及HDFS的設計應用場景。對于追求海量數(shù)據(jù)的高吞吐量、批量處理任務HDFS無疑能發(fā)揮巨大的威力,但是對文件的隨機讀寫卻并不適合。同時,HDFS也不適合對低延時訪問、大量小文件的存儲及處理。

感謝各位的閱讀,以上就是“HDFS與其他并行文件系統(tǒng)的對比”的內(nèi)容了,經(jīng)過本文的學習后,相信大家對HDFS與其他并行文件系統(tǒng)的對比這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關知識點的文章,歡迎關注!


當前名稱:HDFS與其他并行文件系統(tǒng)的對比
分享地址:http://weahome.cn/article/ieigpc.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部