本篇文章給大家分享的是有關(guān)如何用Spark解決一些經(jīng)典MapReduce問題，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

成都創(chuàng)新互聯(lián)公司：于2013年創(chuàng)立為各行業(yè)開拓出企業(yè)自己的“網(wǎng)站建設(shè)”服務(wù)，為1000多家公司企業(yè)提供了專業(yè)的網(wǎng)站制作、網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)和網(wǎng)站推廣服務(wù)， 按需定制由設(shè)計(jì)師親自精心設(shè)計(jì)，設(shè)計(jì)的效果完全按照客戶的要求，并適當(dāng)?shù)奶岢龊侠淼慕ㄗh，擁有的視覺效果，策劃師分析客戶的同行競(jìng)爭(zhēng)對(duì)手，根據(jù)客戶的實(shí)際情況給出合理的網(wǎng)站構(gòu)架，制作客戶同行業(yè)具有領(lǐng)先地位的。

Spark是一個(gè)Apache項(xiàng)目，它被標(biāo)榜為“快如閃電的集群計(jì)算”。它擁有一個(gè)繁榮的開源社區(qū)，并且是目前最活躍的Apache項(xiàng)目。Spark提供了一個(gè)更快、更通用的數(shù)據(jù)處理平臺(tái)。和Hadoop相比，Spark可以讓你的程序在內(nèi)存中運(yùn)行時(shí)速度提升100倍，或者在磁盤上運(yùn)行時(shí)速度提升10倍。同時(shí)spark也讓傳統(tǒng)的map  reduce job開發(fā)變得更加簡(jiǎn)單快捷。本文將簡(jiǎn)單介紹幾個(gè)經(jīng)典hadoop的mr按理用spark實(shí)現(xiàn)，來讓大家熟悉spark的開發(fā)。

最小值

求最小值一直是Hadoop的經(jīng)典案例，我們用Spark來實(shí)現(xiàn)一下，借此感受一下spark中mr的思想和實(shí)現(xiàn)方式。話不多說直接上code：

預(yù)期結(jié)果：

max: 1001min: 2

思路和hadoop中的mr類似，設(shè)定一個(gè)key，value為需要求***與最小值的集合，然后再groupBykey聚合在一起處理。第二個(gè)方法就更簡(jiǎn)單，性能也更好。

平均值問題

求每個(gè)key對(duì)應(yīng)的平均值是常見的案例，在spark中處理類似問題常常會(huì)用到combineByKey這個(gè)函數(shù)，詳細(xì)介紹請(qǐng)google一下用法，下面看代碼：

我們讓每個(gè)partiton先求出單個(gè)partition內(nèi)各個(gè)key對(duì)應(yīng)的所有整數(shù)的和 sum以及個(gè)數(shù)count，然后返回一個(gè)pair(sum,  count)在shuffle后累加各個(gè)key對(duì)應(yīng)的所有sum和count,再相除得到均值.

TopN問題

Top n問題同樣也是hadoop種體現(xiàn)mr思想的經(jīng)典案例,那么在spark中如何方便快捷的解決呢：

思路很簡(jiǎn)單，把數(shù)據(jù)groupBykey以后按key形成分組然后取每個(gè)分組的2個(gè)。預(yù)期結(jié)果：

以上就是如何用Spark解決一些經(jīng)典MapReduce問題，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。