一、學(xué)習(xí)大數(shù)據(jù)需要的基礎(chǔ)

   java SE，EE(SSM)
      90%的大數(shù)據(jù)框架都是java寫的
   MySQL
      SQL on Hadoop
   Linux
      大數(shù)據(jù)的框架安裝在Linux操作系統(tǒng)上

在郟縣等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站建設(shè)、成都做網(wǎng)站 網(wǎng)站設(shè)計(jì)制作定制開發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),成都全網(wǎng)營(yíng)銷推廣,成都外貿(mào)網(wǎng)站建設(shè)公司,郟縣網(wǎng)站建設(shè)費(fèi)用合理。

二、需要學(xué)什么

   第一方面：大數(shù)據(jù)離線分析

      一般處理T+1數(shù)據(jù)
         Hadoop 2.X：（common、HDFS、MapReduce、YARN）
            環(huán)境搭建，處理數(shù)據(jù)的思想
         Hive:
            大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)
            通過寫SQL對(duì)數(shù)據(jù)進(jìn)行操作，類似于mysql數(shù)據(jù)庫(kù)中的sql
         HBase
            基于HDFS的NOSQL數(shù)據(jù)庫(kù)
            面向列的存儲(chǔ)
            
         協(xié)作框架：
            sqoop（橋梁：HDFS 《==》RDBMS）
            flume:收集日志文件中信息
            
            調(diào)度框架anzkaban,了解：crotab（Linux自帶）、zeus(Alibaba)、Oozie(cloudera)
         
         擴(kuò)展前沿框架：
            kylin、impala、ElasticSearch（ES）

   注意：關(guān)于第一方面的內(nèi)容我的另一篇博客有詳細(xì)的總結(jié)（是我搜索大量網(wǎng)上資料所得，可以幫你省下不少時(shí)間）

   第二方面：大數(shù)據(jù)實(shí)時(shí)分析

         以spark框架為主
         Scala：OOP + FP
         sparkCore:類比MapReduce
         sparkSQL:類比hive
         sparkStreaming：實(shí)時(shí)數(shù)據(jù)處理
         kafka:消息隊(duì)列
      前沿框架擴(kuò)展：flink  
         阿里巴巴 blink

   第三方面：大數(shù)據(jù)機(jī)器學(xué)習(xí)（擴(kuò)展）

         spark MLlib:機(jī)器學(xué)習(xí)庫(kù)
         pyspark編程：Python和spark的結(jié)合
         推薦系統(tǒng)
         python數(shù)據(jù)分析

         Python機(jī)器學(xué)習(xí)

大數(shù)據(jù)框架安裝功能來劃分

   海量數(shù)據(jù)存儲(chǔ)：

      HDFS、Hive（本質(zhì)存儲(chǔ)數(shù)據(jù)還是hdfs）、HBASE、ES

   海量數(shù)據(jù)分析：

      MapReduce、Spark、SQL

最原始的Hadoop框架

   數(shù)據(jù)存儲(chǔ)：HDFS（Hadoop Distributed File System）
   數(shù)據(jù)分析：MapReduce

Hadoop的起源

   Google的三篇論文

   雖然Google沒有公布這三個(gè)產(chǎn)品的源碼，
   但是他發(fā)布了這三個(gè)產(chǎn)品的詳細(xì)設(shè)計(jì)論文，
   奠定了風(fēng)靡全球的大數(shù)據(jù)算法的基礎(chǔ)！

      Google FS      HDFS

      MapReduce      MapReduce

      BigTable      HBase

   將任務(wù)分解然后在多臺(tái)處理能力較弱的計(jì)算節(jié)點(diǎn)中同時(shí)處理，然后將結(jié)果合并從而完成大數(shù)據(jù)處理。
   
   google:android,搜索，大數(shù)據(jù)框架，人工智能框架
   pagerank

Hadoop介紹

   大數(shù)據(jù)絕大多數(shù)框架，都屬于Apache頂級(jí)項(xiàng)目
   http://apache.org/
   hadoop官網(wǎng)：
   http://hadoop.apache.org/
   
分布式
   相對(duì)于【集中式】
   需要多臺(tái)機(jī)器，進(jìn)行協(xié)助完成。
   
   元數(shù)據(jù)：記錄數(shù)據(jù)的數(shù)據(jù)
   架構(gòu)：
      主節(jié)點(diǎn)Master   老大，管理者
         管理
      從節(jié)點(diǎn)Slave   從屬，奴隸，被管理者
         干活

Hadoop也是分布式架構(gòu)

   common

   HDFS:

      主節(jié)點(diǎn)：NameNode
         決定著數(shù)據(jù)存儲(chǔ)到那個(gè)DataNode上
      從節(jié)點(diǎn)：DataNode
         存儲(chǔ)數(shù)據(jù)

   MapReduce:

      分而治之思想
      將海量的數(shù)據(jù)劃分為多個(gè)部分，每部分?jǐn)?shù)據(jù)進(jìn)行單獨(dú)的處理，最后將所有結(jié)果進(jìn)行合并
      map task
         單獨(dú)處理每一部分的數(shù)據(jù)、
         
      reduce task
         合并map task的輸出

   YARN:

      分布式集群資源管理框架，管理者集群的資源（Memory,cpu core）
      合理調(diào)度分配給各個(gè)程序（MapReduce）使用
      主節(jié)點(diǎn)：resourceManager
         掌管集群中的資源
      從節(jié)點(diǎn)：nodeManager
         管理每臺(tái)集群資源

   總結(jié)：Hadoop的安裝部署

      都屬于java進(jìn)程，就是啟動(dòng)了JVM進(jìn)程，運(yùn)行服務(wù)。
      HDFS：存儲(chǔ)數(shù)據(jù)，提供分析的數(shù)據(jù)
         NameNode/DataNode
      YARN:提供程序運(yùn)行的資源

         ResourceManager/NodeManager

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享標(biāo)題：大數(shù)據(jù)需要掌握的知識(shí)點(diǎn)（新手）-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)鏈接：http://weahome.cn/article/dhdojg.html