本篇文章給大家分享的是有關(guān)Spark2.3.1使用技巧是什么樣的，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

成都創(chuàng)新互聯(lián)公司專注于新田網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供新田營銷型網(wǎng)站建設(shè)，新田網(wǎng)站制作、新田網(wǎng)頁設(shè)計(jì)、新田網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)服務(wù)，打造新田網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供新田網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

Spark 2.3.1 使用技巧

Spark-SQL 讀取JSON文件時(shí)反射表頭

case class StudentInfo(id:Long,name:String,age:Int)

val example = spark.read.json("/data/result.json").as(StudentInfo)
example.show()

動(dòng)態(tài)定義schema

在需要根據(jù)不同數(shù)據(jù)定義不同schema

val schemaInfo = "name age"
val fields = schemaInfo.map(item=> item.split(" ")
     .map(item=>StructField(item,StringType,nullable=true))
val schema = StructType(fields)

val rowRDD = peopleRDD.map(_.split(" ").map(attributes=>Row(attributes(0),attributes(1))

val peopleDF = spark.createDataFrame(rowRDD,schema)

peopleDF.show()

Spark 2.3.1 on YARN

spark-submit 限制參數(shù)未生效

因?yàn)樵?code>spark-submit時(shí)配置的executor-memory 2g等沒有生效，后來問同事說他也碰到這樣的問題，解決方案就是動(dòng)態(tài)的分配executor

--conf spark.yarn.maxAppAttempts=1 --conf spark.dynamicAllocation.minExecutors=2 --conf spark.dynamicAllocation.maxExecutors=4 --conf spark.dynamicAllocation.initialExecutors=4

以上就是Spark2.3.1使用技巧是什么樣的，小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。