隨著互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)已經(jīng)成為了新一代的“網(wǎng)紅”，各行各業(yè)幾乎都和大數(shù)據(jù)產(chǎn)生著關(guān)系。Spark是大數(shù)據(jù)中重要的框架之一，下面為大家分享如何快速入門spark。
Apache Spark是在大數(shù)據(jù)工業(yè)界里用的最多的基于內(nèi)存的技術(shù)框架，尤其是RDD的特性以及應(yīng)用，對(duì)幫助理解Spark和任務(wù)提交的流程以及緩存機(jī)制。
通過以上教程可以讓大家掌握Spark的環(huán)境搭建，任務(wù)調(diào)度流程，以及RDD代碼的應(yīng)用。
課程目錄：
第1章 Spark知識(shí)講解
01_為什么學(xué)習(xí)Spark
02_Spark和MapReduce的對(duì)比.mp4
03_Spark框架體系
04_Spark下載
05.Spark運(yùn)行模式介紹
06.Spark集群安裝
07.Spark程序執(zhí)行流程
08.Spark相關(guān)名詞解釋
09_SparkShellLocal
10_SparkShellCluster
11_Spark2.2和Spark1.6Shell對(duì)比
第2章 Maven和IDEA
12_Maven和IDEA下載
13_Maven安裝
14_IDEA安裝
15_IDEA中配置Maven
16_Scala環(huán)境安裝和IDEA中配置Scala插件
17_IDEA創(chuàng)建Spark工程
18_Spark開發(fā)WordCount程序
19_Spark程序打包
20_Spark集群運(yùn)行打包程序
第3章 RDD知識(shí)講解
21_RDD概念
22_RDD執(zhí)行流程
23_RDD屬性
24_RDD彈性
25_RDD的兩種創(chuàng)建
26_RDD編程API
第4章 Transformation算法
27_Transformation算法
28_Action算法
29_Map
30_filter
31_flatMap
32_sample
33 union
34 intersection
35 distinct
36 join
37_leftOuterJoin
38_rightOuterJoin
39_cartesian
40_groupBy
41_mapPartition
42_mapPartitionWithIndex
43_sortby
44_sortbykey
45_repartition
46_coalesce
47_partitionBy
48_repartitionAndSortWithinPartitions
49_reduce
50_reduceByKey
51_aggregateByKey
52_combineByKey
第5章 Action算法
53_collect
54_count
55_top
56_take
57_takeOrdered
58_first
59_saveAsTextFile
60_foreach
61_其他算子之countByKey
62_其他算子之countByValue
63_其他算子之filterByRange
64_其他算子之flatMapValues
65_其他算子之foreachPartition
66_其他算子之keyBy
67_其他算子之keys和values
68_其他算子之collectAsMap
69_RDD函數(shù)傳遞
70_RDD的依賴關(guān)系
71_RDD任務(wù)劃分
72_Lineage血統(tǒng)
73_RDD緩存(持久化)
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
