這篇文章主要介紹“如何使用eclipse spark ”，在日常操作中，相信很多人在如何使用eclipse spark 問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何使用eclipse spark ”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括霞山網(wǎng)站建設(shè)、霞山網(wǎng)站制作、霞山網(wǎng)頁制作以及霞山網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，霞山網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到霞山省份的部分城市，未來相信會繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

package my.test;

import java.io.IOException;

import org.apache.spark.deploy.SparkSubmit;

import com.huangyueran.spark.utils.Constant;

public class Main {
public static void main(String[] args) throws IOException {
	System.setProperty("HADOOP_USER_NAME", "hadoop");
	System.setProperty("user.name", "hadoop");
	
	//System.setProperty("HADOOP_CONF_DIR", "C:\\eclipse-workspace\\SparkDemo\\src\\main\\resources");
	//System.setProperty("HADOOP_CONF_DIR", "C:\\my\\soft\\hadoop\\hadoop-2.8.5\\hadoop-2.8.5\\etc\\hadoop");
	
	
	System.out.println("------------"+System.getenv("HADOOP_CONF_DIR"));
	
	System.out.println("------------"+System.getenv("HADOOP_HOME"));
	
	
	String appName = "wordCount-yarn-cluster";
	String className = "my.test.WordCount";
	String path = "C:\\eclipse-workspace\\SparkDemo\\target\\SparkDemo-1.0-SNAPSHOT.jar";
	path = Constant.HDFS_FILE_PREX +"/user/zzm/SparkDemo-1.0-SNAPSHOT.jar";
		String [] arg0=new String[]{
		// "--jars",Constant.HDFS_FILE_PREX +"/user/zzm/spark-lib",		
		"--master","yarn",//ip端口
		"--deploy-mode","cluster",
		 "--name",appName,
		 "--class",className,//運(yùn)行主類main
		 //"--spark.yarn.archive",Constant.HDFS_FILE_PREX + "/user/zzm/spark-lib",
		 "--executor-memory","2G",
		 "--total-executor-cores","10",
		 "--executor-cores","2",
		 path,//在linux上的包 可改為hdfs上面的路徑
		// "LR", "20180817111111", "66"http://jar中的參數(shù)，注意這里的參數(shù)寫法
		};
		SparkSubmit.main(arg0);
}
}

一直卡著：

spark-defaults.conf新增配置解決：

#spark.yarn.jar                 hdfs://udp02:8020/user//spark-lib/*.jar

到此，關(guān)于“如何使用eclipse spark ”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！