這篇文章給大家分享的是有關(guān)hadoop商業(yè)版本之間有哪些區(qū)別的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
成都創(chuàng)新互聯(lián)成都企業(yè)網(wǎng)站建設(shè)服務(wù),提供成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計網(wǎng)站開發(fā),網(wǎng)站定制,建網(wǎng)站,網(wǎng)站搭建,網(wǎng)站設(shè)計,響應(yīng)式網(wǎng)站建設(shè),網(wǎng)頁設(shè)計師打造企業(yè)風(fēng)格網(wǎng)站,提供周到的售前咨詢和貼心的售后服務(wù)。歡迎咨詢做網(wǎng)站需要多少錢:18980820575
hadoop商業(yè)版本選擇對比
記得剛接觸到hadoop的時候跟大部分人一樣都會抱怨hadoop的安裝部署問題,對于一個新手來說這這的是個頭疼的問題,可能需要花費一整天的時間才能把分布式環(huán)境安裝配置好。在剛接觸hadoop的一段時間里,可以說對于hadoop的理解一直都是停留在相對較膚淺的層面。后來隨著自己的不斷摸索以及向圈內(nèi)的前輩大神請教交流(主要是向大神請教學(xué)來的),自己對于hadoop的認(rèn)識以及應(yīng)用也就更加嫻熟。
作為一個過來人,在這里給新人分享一些關(guān)于hadoop版本選擇的問題,希望別像我當(dāng)時傻乎乎的只知道hadoop有1.0.x和2.x版本。
當(dāng)前hadoop的發(fā)行版本除了Apache的開元版本之外,華為發(fā)行版、Intel發(fā)行版以及Cloudera發(fā)行版等。上面說的這幾個第三方的發(fā)行版已經(jīng)有相對較長的一些時間,除此之外還有最近幾年異軍突起的DKhadoop商業(yè)發(fā)行版。
國內(nèi)的大多數(shù)公司推出的Hadoop發(fā)行版都是收費的,免費的發(fā)行版則主要是國外的,比如Apache的發(fā)行版、Cloudera發(fā)行版等。面對如此多的hadoop版本不免會讓人難以選擇。下面我們就簡單對比一些這些不同版本的優(yōu)缺點,希望對于新手能夠有所幫助。
Apache發(fā)行版:
優(yōu)點:Apache發(fā)行版的優(yōu)點主要集中表現(xiàn)在它的完全開源免費、社區(qū)活躍性以及文檔、資料詳實等方面。
缺點:Apache發(fā)行版的缺點也相對較多,具體表現(xiàn)在以下幾個方面:
1. 復(fù)雜的版本管理。版本管理比較混亂,各種版本層出不窮,讓使用者不知所措。
2. 復(fù)雜的集群部署、安裝、配置。通常按照集群需要編寫大量的配置文件,分發(fā)到每一臺節(jié)點上,容易出錯,效率低下。
3. 復(fù)雜的集群運維。對集群的監(jiān)控,運維,需要安裝第三方的其他軟件,如ganglia,nagois等,運維難度較大。
4. 復(fù)雜的生態(tài)環(huán)境。在Hadoop生態(tài)圈中,組件的選擇、使用,比如Hive,Mahout,Sqoop,F(xiàn)lume,Spark,Oozie等等,需要大量考慮兼容性的問題,版本是否兼容,組件是否有沖突,編譯是否能通過等。經(jīng)常會浪費大量的時間去編譯組件,解決版本沖突問題。
第三方發(fā)行版本的優(yōu)缺點:(如CDH,HDP,MapR等)
優(yōu)點:第三方發(fā)行版本的優(yōu)點主要有以下幾個:
1. 基于Apache協(xié)議,100%開源;
2. 相較于原生的hadoop在兼容性、安全型以及穩(wěn)定性方面有所提升;
3. 版本管理清晰,更新更快;
4. 提供了部署、安裝、配置工具,大大提高了集群部署的效率,可以在幾個小時內(nèi)部署好集群;
5. 運維簡單。提供了管理、監(jiān)控、診斷、配置修改的工具,管理配置方便,定位問題快速、準(zhǔn)確,使運維工作簡單,有效。
缺點:第三方hadoop發(fā)行版的主要缺點就是涉及到廠商鎖定的問題,但這一問題可以通過技術(shù)方面解決掉。
DKhadoop發(fā)行版:
Dkhadoop發(fā)行版是我目前接觸的以及使用一個版本。與市場的其他第三方的發(fā)行版本相比較,整合程度要更高,但同樣也保持了開源系統(tǒng)的全部優(yōu)點。綜合目前使用的情況看,在性能上相較于以往使用的一些第三方hadoop發(fā)行版要提升很多的!關(guān)于DKhadoop發(fā)行版的問題,感興趣的可以自己去查閱收集一些資料看看。
感謝各位的閱讀!關(guān)于“hadoop商業(yè)版本之間有哪些區(qū)別”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學(xué)到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!