MOOC 大數(shù)據(jù)Note

• Spark
• • Spark 一個軟件棧滿足不同交互場景
  • Lineage 血緣關(guān)系
  • 創(chuàng)建 轉(zhuǎn)換 動作
  • ShuffleMapStage
  • Spark的部署和應(yīng)用方式
  • RDD操作分為轉(zhuǎn)換（Transformation）和動作（Action）兩種類型，下列屬于動作（Action）類型的操作的是:count
  • Spark支持三種類型的部署方式：Standalone，Spark on Mesos，Spark on YARN
  • RDD采用惰性調(diào)用，遇到“轉(zhuǎn)換(Transformation)”類型的操作時，只會記錄RDD生成的軌跡，只有遇到“動作(Action)”類型的操作時才會觸發(fā)真正的計算
  • 在選擇Spark Streaming和Storm時，對實時性要求高（比如要求毫秒級響應(yīng)）的企業(yè)更傾向于選擇流計算框架Storm
  • 基于實時數(shù)據(jù)流的數(shù)據(jù)處理：Storm
  • 復(fù)雜的批量數(shù)據(jù)處理：MapReduce
  • 基于歷史數(shù)據(jù)的交互式查詢：Impala
  • Apache軟件基金會最重要的三大分布式計算系統(tǒng)開源項目包括：Storm、Spark、Hadoop
  • Spark的主要特點包括:運行模式多樣、通用性好、容易使用、運行速度快
  • Scala是Spark的主要編程語言，但Spark還支持Java、Python、R作為編程語言
  • Scala具備強(qiáng)大的并發(fā)性，支持函數(shù)式編程
  • Scala是一種多范式編程語言
  • Scala運行于Java平臺，兼容現(xiàn)有的Java程序
  • Spark的運行架構(gòu)包括:每個應(yīng)用的任務(wù)控制節(jié)點 Driver、集群資源管理器 Cluster Manager、運行作業(yè)任務(wù)的工作節(jié)點 Worker Node、每個工作節(jié)點上負(fù)責(zé)具體任務(wù)的執(zhí)行進(jìn)程 Executor
  • 常見的動作（Action）和轉(zhuǎn)換（Transformation）操作的API count()：返回數(shù)據(jù)集中的元素個數(shù)，map(func)：將每個元素傳遞到函數(shù)func中，并將結(jié)果返回為一個新的數(shù)據(jù)集，filter(func)：篩選出滿足函數(shù)func的元素，并返回一個新的數(shù)據(jù)集
  • HBase是一種列式數(shù)據(jù)庫
  • HBase是一個稀疏、多維度、排序的映射表，這張表的索引是行鍵、列族、列限定符和時間戳
  • 每個HBase表都由若干行組成，每個行由行鍵（row key）來標(biāo)識
  • HBase列族支持動態(tài)擴(kuò)展，可以很輕松地添加一個列族或列
  • Zookeeper是一個集群管理工具，常用于分布式計算，提供配置維護(hù)、域名服務(wù)、分布式同步等
  • HBase三層結(jié)構(gòu)的順序是:Zookeeper文件，-ROOT-表，.MEATA.表
  • 客戶端是通過三級尋址來定位Region
  • 訪問HBase表中的行，有哪些方式:通過一個行健的區(qū)間來訪問，通過單個行鍵來訪問、全表掃描
  • HBase和傳統(tǒng)關(guān)系型數(shù)據(jù)庫的區(qū)別在于哪些方面:數(shù)據(jù)操作、數(shù)據(jù)模型、存儲模式、數(shù)據(jù)索引
  • 下列對HBase的理解正確的是：HBase多用于存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)，HBase是針對谷歌BigTable的開源實現(xiàn)

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比廣州網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式廣州網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋廣州地區(qū)。費用合理售后完善，10多年實體公司更值得信賴。Spark Spark 一個軟件棧滿足不同交互場景

Lineage 血緣關(guān)系 創(chuàng)建 轉(zhuǎn)換 動作 ShuffleMapStage

Spark的部署和應(yīng)用方式

RDD操作分為轉(zhuǎn)換（Transformation）和動作（Action）兩種類型，下列屬于動作（Action）類型的操作的是:count Spark支持三種類型的部署方式：Standalone，Spark on Mesos，Spark on YARN RDD采用惰性調(diào)用，遇到“轉(zhuǎn)換(Transformation)”類型的操作時，只會記錄RDD生成的軌跡，只有遇到“動作(Action)”類型的操作時才會觸發(fā)真正的計算 在選擇Spark Streaming和Storm時，對實時性要求高（比如要求毫秒級響應(yīng)）的企業(yè)更傾向于選擇流計算框架Storm 基于實時數(shù)據(jù)流的數(shù)據(jù)處理：Storm 復(fù)雜的批量數(shù)據(jù)處理：MapReduce 基于歷史數(shù)據(jù)的交互式查詢：Impala Apache軟件基金會最重要的三大分布式計算系統(tǒng)開源項目包括：Storm、Spark、Hadoop Spark的主要特點包括:運行模式多樣、通用性好、容易使用、運行速度快 Scala是Spark的主要編程語言，但Spark還支持Java、Python、R作為編程語言 Scala具備強(qiáng)大的并發(fā)性，支持函數(shù)式編程 Scala是一種多范式編程語言 Scala運行于Java平臺，兼容現(xiàn)有的Java程序 Spark的運行架構(gòu)包括:每個應(yīng)用的任務(wù)控制節(jié)點 Driver、集群資源管理器 Cluster Manager、運行作業(yè)任務(wù)的工作節(jié)點 Worker Node、每個工作節(jié)點上負(fù)責(zé)具體任務(wù)的執(zhí)行進(jìn)程 Executor 常見的動作（Action）和轉(zhuǎn)換（Transformation）操作的API count()：返回數(shù)據(jù)集中的元素個數(shù)，map(func)：將每個元素傳遞到函數(shù)func中，并將結(jié)果返回為一個新的數(shù)據(jù)集，filter(func)：篩選出滿足函數(shù)func的元素，并返回一個新的數(shù)據(jù)集 HBase是一種列式數(shù)據(jù)庫 HBase是一個稀疏、多維度、排序的映射表，這張表的索引是行鍵、列族、列限定符和時間戳 每個HBase表都由若干行組成，每個行由行鍵（row key）來標(biāo)識 HBase列族支持動態(tài)擴(kuò)展，可以很輕松地添加一個列族或列 Zookeeper是一個集群管理工具，常用于分布式計算，提供配置維護(hù)、域名服務(wù)、分布式同步等 HBase三層結(jié)構(gòu)的順序是:Zookeeper文件，-ROOT-表，.MEATA.表 客戶端是通過三級尋址來定位Region 訪問HBase表中的行，有哪些方式:通過一個行健的區(qū)間來訪問，通過單個行鍵來訪問、全表掃描 HBase和傳統(tǒng)關(guān)系型數(shù)據(jù)庫的區(qū)別在于哪些方面:數(shù)據(jù)操作、數(shù)據(jù)模型、存儲模式、數(shù)據(jù)索引 下列對HBase的理解正確的是：HBase多用于存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)，HBase是針對谷歌BigTable的開源實現(xiàn)

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

分享標(biāo)題：MOOC大數(shù)據(jù)Note-創(chuàng)新互聯(lián)
文章鏈接：http://weahome.cn/article/pidjs.html