本篇內容介紹了“Hadoop入門基礎知識有哪些”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

創(chuàng)新互聯(lián)主要從事成都做網站、網站制作、網頁設計、企業(yè)做網站、公司建網站等業(yè)務。立足成都服務新市,十載網站建設經驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:13518219792

1、Hadoop概述

Hadoop 是 Apache 旗下的一個用 Java 語言實現(xiàn)開源軟件框架，它還是一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。Hadoop允許使用簡單的編程模型，在大量計算機集群上，對大型數(shù)據(jù)集進行分布式處理。

狹義上說，Hadoop 指 Apache 這款開源框架，它的核心組件有：HDFS(分布式文件系統(tǒng))：解決海量數(shù)據(jù)存儲 ;YARN(作業(yè)調度和集群資源管理的框架)：解決資源任務調度;MAPREDUCE(分布式運算編程框架)：解決海量數(shù)據(jù)計算。

廣義上來說，Hadoop 通常是指一個更廣泛的概念——Hadoop 生態(tài)圈。當下的 Hadoop 已經成長為一個龐大的體系，隨著生態(tài)系統(tǒng)的成長，新出現(xiàn)的項目越來越多，其中不乏一些非 Apache 主管的項目，這些項目對 HADOOP 是很好的補充或者更高層的抽象。比如，HDFS： 分 布 式 文 件 系 統(tǒng);MAPREDUCE：分布式運算程序開發(fā)框架;HIVE：基于 HADOOP 的分布式數(shù)據(jù)倉庫，提供基于 SQL 的查詢數(shù)據(jù)操作;HBASE：基于Hadoop的分布式海量數(shù)據(jù)庫;ZOOKEEPER：分布式協(xié)調服務基礎組件;Mahout：基于 mapreduce/spark/flink 等分布式運算框架的機器學習算法庫;OOZIE：工作流調度框架;Sqoop：數(shù)據(jù)導入導出工具;FLUME：日志數(shù)據(jù)采集框架;IMPALA：基于 hive 的實時 sql 查詢分析。

2、Hadoop的發(fā)展歷程

Hadoop 是 Apache Lucene 創(chuàng)始人 Doug Cutting 創(chuàng)建的。最早起源于 Nutch， 它是 Lucene 的子項目。Nutch 的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨著抓取網頁數(shù)量的增加，遇到了嚴重的可擴展性問題：如何解決數(shù)十億網頁的存儲和索引問題。

2003 年 Google 發(fā)表了一篇論文為該問題提供了可行的解決方案。論文中描述的是谷歌的產品架構，該架構稱為：谷歌分布式文件系統(tǒng)(GFS),可以解決他們在網頁爬取和索引過程中產生的超大文件的存儲需求。

2004 年 Google 發(fā)表論文向全世界介紹了谷歌版的MapReduce 系統(tǒng)。 同時期，Nutch 的開發(fā)人員完成了相應的開源實現(xiàn) HDFS 和 MAPREDUCE，并從Nutch 中剝離成為獨立項目 HADOOP，到 2008 年 1 月，HADOOP 成為 Apache 頂級項目，迎來了它的快速發(fā)展期。

2006 年 Google 發(fā)表了論文是關于 BigTable 的，這促使了后來的 Hbase的發(fā)展。 因此，Hadoop 及其生態(tài)圈的發(fā)展離不開 Google 的貢獻。

3、Hadoop的特性

(1)擴容能力：Hadoop 是在可用的計算機集群間分配數(shù)據(jù)并完成計算任務的，這些集群可用方便的擴展到數(shù)以千計的節(jié)點中。

(2)成本低：Hadoop 通過普通廉價的機器組成服務器集群來分發(fā)以及處理數(shù)據(jù)，以至于成本很低。

(3)高效率：通過并發(fā)數(shù)據(jù)，Hadoop 可以在節(jié)點之間動態(tài)并行的移動數(shù)據(jù)，使得速度非?？?。

(4)可靠性：能自動維護數(shù)據(jù)的多份復制，并且在任務失敗后能自動地重新部署計算任務。所以 Hadoop 的按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

4、Hadoop的應用

Hadoop 最受青睞的行業(yè)是互聯(lián)網領域，可以說互聯(lián)網公司是 hadoop 的主要使用力量。國外來說，Yahoo、Facebook、IBM 等公司都大量使用 hadoop 集群來支撐業(yè)務。比如：Yahoo 的 Hadoop 應用在支持廣告系統(tǒng)、用戶行為分析、支持 Web 搜索等。 Facebook 主要使用 Hadoop 存儲內部日志與多維數(shù)據(jù)，并以此作為報告、分析和機器學習的數(shù)據(jù)源。

國內來說，BAT 領頭的互聯(lián)網公司是當仁不讓的 Hadoop 使用者、維護者。比如 Ali 云梯(14 年國內最大 Hadoop 集群)、百度的日志分析平臺、推薦引擎系統(tǒng)等。國內其他非互聯(lián)網領域也有不少 hadoop 的應用，比如：金融行業(yè)的個人征信分析，證券行業(yè)的投資模型分析，還有交通行業(yè)的車輛、路況監(jiān)控分析和電信行業(yè)的用戶上網行為分析 。

“Hadoop入門基礎知識有哪些”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網站，小編將為大家輸出更多高質量的實用文章！