spark技巧有哪些呢，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

目前創(chuàng)新互聯(lián)已為成百上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、網(wǎng)站托管維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、金山網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

1. 設(shè)置消息尺寸最大值

def main(args: Array[String]) {
    System.setProperty("spark.akka.frameSize", "1024")
}

2.與yarn結(jié)合時(shí)設(shè)置隊(duì)列

val conf=new SparkConf().setAppName("WriteParquet")
conf.set("spark.yarn.queue","wz111")
val sc=new SparkContext(conf)

3.運(yùn)行時(shí)使用yarn分配資源，并設(shè)置--num-executors參數(shù)

nohup /home/SASadm/spark-1.4.1-bin-hadoop2.4/bin/spark-submit
--name mergePartition
--class main.scala.week2.mergePartition
--num-executors 30
--master yarn
mergePartition.jar >server.log 2>&1 &

4.讀取impala的parquet，對(duì)String串的處理

sqlContext.setConf("spark.sql.parquet.binaryAsString","true")

5.parquetfile的寫

case class ParquetFormat(usr_id:BigInt , install_ids:String )
val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

6.parquetfile的讀

val parquetFile=sqlContext.read.parquet("hdfs://")
parquetFile.registerTempTable("install_running")
val data=sqlContext.sql("select user_id,install_ids from install_running")
data.map(t=>"user_id:"+t(0)+" install_ids:"+t(1)).collect().foreach(println)

7.寫文件時(shí)，將所有結(jié)果匯集到一個(gè)文件

repartition(1)

8.如果重復(fù)使用的rdd，使用cache緩存

cache()

9.spark-shell 添加依賴包

 spark-1.4.1-bin-hadoop2.4/bin/spark-shell local[4] --jars code.jar

10.spark-shell使用yarn模式，并使用隊(duì)列

spark-1.4.1-bin-hadoop2.4/bin/spark-shell --master yarn-client --queue wz111

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。