這篇文章主要講解了“spark yarn 提交任務異常怎么辦”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“spark yarn 提交任務異常怎么辦”吧！

創(chuàng)新互聯(lián)2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目成都網(wǎng)站制作、成都做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元儀征做網(wǎng)站,已為上家服務,為儀征各地企業(yè)和個人服務,聯(lián)系電話:18980820575

Exception in thread "main" java.lang.IllegalStateException: Library directory 'C:\eclipse-workspace\SparkDemo\assembly\target\scala-2.11\jars' does not exist; make sure Spark is built.
	at org.apache.spark.launcher.CommandBuilderUtils.checkState(CommandBuilderUtils.java:248)
	at org.apache.spark.launcher.CommandBuilderUtils.findJarsDir(CommandBuilderUtils.java:342)
	at org.apache.spark.launcher.YarnCommandBuilderUtils$.findJarsDir(YarnCommandBuilderUtils.scala:38)
	at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:545)
	at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:865)
	at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:179)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
	at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:188)
	at org.apache.spark.SparkContext.(SparkContext.scala:501)
	at org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:58)
	at my.test.WordCountYarn.main(WordCountYarn.java:34)
[Thread-1] [INFO] [2021-04-12 18:12:44] Shutdown hook called 
[Thread-1] [INFO] [2021-04-12 18:12:44] Deleting directory C:\Users\zengming.zhang\AppData\Local\Temp\spark-ed6b5d87-e618-4375-9ee4-264c0d832447

SparkConf conf = new SparkConf().setAppName("WordCountYarn").setMaster("yarn-client")
                .set("spark.yarn.dist.files", "C:\\eclipse-workspace\\SparkDemo\\src\\main\\resources\\yarn-site.xml")

//添加此參數(shù)解決
                .set("spark.yarn.jars", "*.jars")

https://blog.csdn.net/qq_40651753/article/details/86239630

感謝各位的閱讀，以上就是“spark yarn 提交任務異常怎么辦”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對spark yarn 提交任務異常怎么辦這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！