這篇文章將為大家詳細(xì)講解有關(guān)怎么進(jìn)行Spark example的運(yùn)行過程分析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)建站基于成都重慶香港及美國等地區(qū)分布式IDC機(jī)房數(shù)據(jù)中心構(gòu)建的電信大帶寬，聯(lián)通大帶寬，移動(dòng)大帶寬，多線BGP大帶寬租用,是為眾多客戶提供專業(yè)雅安服務(wù)器托管報(bào)價(jià)，主機(jī)托管價(jià)格性價(jià)比高，為金融證券行業(yè)服務(wù)器托管，ai人工智能服務(wù)器托管提供bgp線路100M獨(dú)享，G口帶寬及機(jī)柜租用的專業(yè)成都idc公司。

pom.xml

2.     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

3.     4.0.0

4.     active

5.     spark-test

6.     0.0.1-SNAPSHOT

8.     

9.         

10.             org.apache.spark

11.             spark-core_2.10

12.             2.1.0

13.         

14.     

SparkTest.java

1. import java.util.Arrays;

3. import org.apache.spark.SparkConf;

4. import org.apache.spark.api.java.JavaPairRDD;

5. import org.apache.spark.api.java.JavaRDD;

6. import org.apache.spark.api.java.JavaSparkContext;

8. import scala.Tuple2;

10. public class SparkTest {

12.     public static void main(String[] args) {

13.         SparkConf conf = new SparkConf().setAppName("Test").setMaster("local");

14.         JavaSparkContext sc = new JavaSparkContext(conf);

15.         JavaRDD file = sc.parallelize(Arrays.asList("Hello test", "Hello test2", "dds"));

16.         JavaRDD words = file.flatMap(s -> Arrays.asList(s.split(" |\t|\n|\r")).iterator());

17.         JavaPairRDD counts = words.mapToPair(s -> new Tuple2(s, 1));        

18.         counts = counts.reduceByKey((x, y) -> x + y);

19.         

20.         System.out.println(counts.collect());

21.         sc.close();

22.     }

24. }

可以單獨(dú)運(yùn)行，也可以提交到spark集群： spark-submit.cmd --class SparkTest D:\workspace\spark-test\target\spark-test-0.0.1-SNAPSHOT.jar

關(guān)于怎么進(jìn)行Spark example的運(yùn)行過程分析就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。