如何用java代碼替代spark-submit腳本

例子：在開發(fā)web項目結(jié)合spark云平臺時遇到一個難題，當(dāng)一個類繼承了ActionSupport成為一個action后，在它的method（）中不能調(diào)用spark程序（會報找不到spark jar包的錯誤，不知道怎么解決）。

創(chuàng)新互聯(lián)為企業(yè)級客戶提高一站式互聯(lián)網(wǎng)+設(shè)計服務(wù)，主要包括成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)、重慶App定制開發(fā)、小程序開發(fā)、宣傳片制作、LOGO設(shè)計等，幫助客戶快速提升營銷能力和企業(yè)形象，創(chuàng)新互聯(lián)各部門都有經(jīng)驗豐富的經(jīng)驗，可以確保每一個作品的質(zhì)量和創(chuàng)作周期，同時每年都有很多新員工加入，為我們帶來大量新的創(chuàng)意。 

解決方案：把spark程序打包成jar文件，寫一個腳本，在action的method（）中調(diào)用這個腳本，運用spark-submit啟動spark程序。

腳本代碼 ，CRS.sh ：

/usr/local/spark/spark-1.0.0-bin-hadoop1/bin/spark-submit \

--class ar.runCourseCF \

--master local[4] \

/root/IdeaProjects/HelloWorld/web/WEB-INF/lib/test.jar

struts2 的 action類：

public class recommendationAction extends ActionSupport

implements ModelDrivenRecommendationArguments {

private RecommendationArguments recommendation = new RecommendationArguments();

public String execute() throws Exception

{

//腳本路徑

String shellPath = "/root/IdeaProjects/HelloWorld/src/CRS.sh";

System.out.println(shellPath);

ShellUtil shell = new ShellUtil();

shell.runShell(shellPath);

return SUCCESS;

}

public RecommendationArguments getModel()

{

return recommendation;

}

}

java運行腳本的代碼：

public class ShellUtil {

public void runShell(String shellPath)

{

//String shellPath="/root/IdeaProjects/CRS.sh"; //程序路徑

try {

Process process = null;

//添加權(quán)限

String command1 = "chmod 777 " + shellPath;

process = Runtime.getRuntime().exec(command1);

process.waitFor();

//用sh CRS.sh執(zhí)行腳本

String command2 = "sh " + shellPath;

Runtime.getRuntime().exec(command2).waitFor();

}catch(Exception e)

{

System.out.println(e.toString());

有沒有java語言中的spark graphx代碼實例

首先，在SparkShell中運行一下代碼importorg.apache.spark._importorg.apache.spark.graphx._//TomakesomeoftheexamplesworkwewillalsoneedRDDimportorg.apache.spark.rdd.RDD//AssumetheSparkContexthasalreadybeencon

javaweb怎么調(diào)用 spark集群

1、Spark腳本提交/運行/部署1.1spark-shell（交互窗口模式）運行Spark-shell需要指向申請資源的standalonespark集群信息，其參數(shù)為MASTER，還可以指定executor及driver的內(nèi)存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell啟動完后，可以在交互窗口中輸入Scala命令，進(jìn)行操作，其中spark-shell已經(jīng)默認(rèn)生成sc對象，可以用：valuser_rdd1=sc.textFile(inputpath,10)讀取數(shù)據(jù)資源等。1.2spark-shell（腳本運行模式）上面方法需要在交互窗口中一條一條的輸入scala程序；將scala程序保存在test.scala文件中，可以通過以下命令一次運行該文件中的程序代碼：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077

怎樣使用java開發(fā)spark程序?

1、Spark 是基于內(nèi)存的分布式計算框架，因為無需利用 HDFS 作為中間結(jié)果保存的介質(zhì)，性能杠杠的。Spark 是由 Scala 實現(xiàn)的，所以最好學(xué)習(xí)一下 Scala（當(dāng)然用 Python 和 Java 也是可以的）。（）

為啥要用 Spark？

快！基于內(nèi)存

易用！Scala, Java, Python 都支持，還有交互式的 Python 和 Scala 的 shell，可以快速進(jìn)行原型開發(fā)

通用！批處理、交互查詢、流處理、機(jī)器學(xué)習(xí)、圖計算，樣樣精通

兼容！可以使用各種現(xiàn)有的技術(shù)作為底層，也可以自己獨立運行

Spark 生態(tài)系統(tǒng)有哪些組件？

Spark SQL: 類似 Hive，支持在不同 RDD 上進(jìn)行類似 SQL 的操作

Spark Streaming: 對于流數(shù)據(jù)進(jìn)行處理

MLlib: 機(jī)器學(xué)習(xí)庫

GraphX: 圖并行框架

RDD 是什么？

在 Spark 框架中，最重要的是一類新的數(shù)據(jù)抽象，叫做 Resilient Distributed Dataset - RDD。RDD 是分布式存儲在集群中的內(nèi)存對象，按照值的范圍或者哈希結(jié)果進(jìn)行劃分。與此同時 RDD 會記錄關(guān)于數(shù)據(jù)進(jìn)行的各種操作（每次操作都會生成新的 RDD），這樣即使節(jié)點掛掉，也能夠根據(jù)之前的操作日志重新得到損失的 RDD

RDD 支持2種操作：

轉(zhuǎn)換（transformation）：從現(xiàn)有的數(shù)據(jù)集創(chuàng)建一個新的數(shù)據(jù)集

動作（actions）：在數(shù)據(jù)集上運行計算后，返回一個值給驅(qū)動程序

2、實戰(zhàn)java開發(fā)spark程序

3、spark集群環(huán)境搭建