本篇內(nèi)容介紹了“HADOOP HDFS有哪些優(yōu)點”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習一下如何處理這些情況吧!希望大家仔細閱讀,能夠?qū)W有所成!
創(chuàng)新互聯(lián)堅持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:網(wǎng)站制作、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時代的開福網(wǎng)站設(shè)計、移動媒體設(shè)計的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
以HADOOP 2.x為背景。
一、庫房(存儲銀兩)之HDFS。
為了發(fā)家致富,胡雪巖掌柜的開了(阜康錢莊),首先得找個地方放銀兩,在北京買塊地,蓋個房子,這就是銀庫(HDFS),這個銀庫有個特點,除了北京(節(jié)點1)可以蓋,在河北(節(jié)點2)也能蓋,在安徽(節(jié)點3)也能蓋,而且這3地的銀庫的銀兩是可以互通的,儲戶左宗棠可以在北京存錢,安徽能取。
好處:
1、解決單點故障,北京銀庫被搶劫。
2、可以低成本擴展硬件的問題,北京地價貴。
3、數(shù)據(jù)的就近使用,河北也能取錢。
4、高擴展性。業(yè)務(wù)大,在河南也能蓋銀庫,業(yè)務(wù)小,河北的銀庫可以出租出去。
5、適合大數(shù)據(jù)處理、3個庫房可以同時存取銀兩。只要庫房(1w個庫房)夠多,放個幾個億。GB,TB,PB。
缺點:
1、低延時數(shù)據(jù)訪問,往庫房放銀兩較慢
2、適合存儲銀錠(大文件),不適合處理碎銀兩。
3、適合放銀兩,不適合換銀兩。
當有了庫房,得有個管理庫房的人,(阜康錢莊)就開始營業(yè)了。
1、庫房總管:胡二(namenode):
管理HDFS的名稱空間,北京庫房叫北庫,河北庫房叫河北庫,安徽庫房叫徽庫。
管理數(shù)據(jù)塊(block)的映射信息,記錄左大人的錢在哪里放在。
配置副本策略。
處理客戶端讀寫請求,接銀兩的存儲請求。
2、分庫房負責人:胡北京 胡河北 胡安徽(datanode)
存儲實際數(shù)據(jù)塊,放銀兩
執(zhí)行數(shù)據(jù)塊的讀寫操作,具體操作銀兩的存放。
存儲著文件。
hadoop1.0 一個銀錠64MB
hadoop2.0 一個銀錠128MB
3、庫房總管助手:胡小二(胡二的助手):
輔助胡二(namenode),分擔工作量。
定期合并fsimage和fsedits,并推送給namenode,胡小二平時記錄存儲賬目。
在緊急情況小,可輔助恢復(fù)namenode,胡小二接替胡二的工作。
4、客戶:儲戶左宗棠 (client)
存錢,上傳文件,零存,
取錢
和胡二讀取文件的位置信息
和胡北京讀取數(shù)據(jù)
二、下面聊聊存錢過程(HDFS的文件寫入)和取錢過程(HDFS的文件讀?。?/p>
1、左宗棠存錢過程.
左宗棠找胡二,我要存錢。
胡二先判斷左宗棠有權(quán)限存錢沒,然后給左宗棠分配存錢的庫房。
左宗棠拿著條(存儲信息),去了北京庫房,把錢存入北京庫房。
左宗棠把存儲的信息反饋給胡二。
2、左宗棠取錢過程。
左宗棠要取錢,問胡二錢在哪個庫房。
胡二告訴左宗棠錢在胡北京的庫房。
左宗棠去胡北京的庫房取銀兩。
如果取的錢太多,需要用車拉多次,左宗棠取一次錢,需要告訴一次胡二。
等取錢結(jié)束后,告訴胡二。
“HADOOP HDFS有哪些優(yōu)點”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!