這篇文章將為大家詳細(xì)講解有關(guān)怎么進(jìn)行Spark example的運(yùn)行過程分析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)主要從事網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)葉縣,十年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):028-86922220

pom.xml

2.     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

3.     4.0.0

4.     active

5.     spark-test

6.     0.0.1-SNAPSHOT

8.     

9.         

10.             org.apache.spark

11.             spark-core_2.10

12.             2.1.0

13.         

14.     

SparkTest.java

1. import java.util.Arrays;

3. import org.apache.spark.SparkConf;

4. import org.apache.spark.api.java.JavaPairRDD;

5. import org.apache.spark.api.java.JavaRDD;

6. import org.apache.spark.api.java.JavaSparkContext;

8. import scala.Tuple2;

10. public class SparkTest {

12.     public static void main(String[] args) {

13.         SparkConf conf = new SparkConf().setAppName("Test").setMaster("local");

14.         JavaSparkContext sc = new JavaSparkContext(conf);

15.         JavaRDD file = sc.parallelize(Arrays.asList("Hello test", "Hello test2", "dds"));

16.         JavaRDD words = file.flatMap(s -> Arrays.asList(s.split(" |\t|\n|\r")).iterator());

17.         JavaPairRDD counts = words.mapToPair(s -> new Tuple2(s, 1));        

18.         counts = counts.reduceByKey((x, y) -> x + y);

19.         

20.         System.out.println(counts.collect());

21.         sc.close();

22.     }

24. }

可以單獨(dú)運(yùn)行，也可以提交到spark集群： spark-submit.cmd --class SparkTest D:\workspace\spark-test\target\spark-test-0.0.1-SNAPSHOT.jar

關(guān)于怎么進(jìn)行Spark example的運(yùn)行過程分析就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

名稱欄目：怎么進(jìn)行Sparkexample的運(yùn)行過程分析-創(chuàng)新互聯(lián)
標(biāo)題路徑：http://weahome.cn/article/cooejh.html