如何分析spark-mlib的線性回歸,針對(duì)這個(gè)問(wèn)題,這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。
創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站建設(shè)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的上海網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.sql.SQLContext import org.apache.spark.ml.regression.LinearRegression object SparkMlib { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("mlib").setMaster("local") val context = new SparkContext(conf) val sqlContext = new SQLContext(context) val rdd = context.makeRDD(List((1,3,9),(2,6,18),(3,9,27),(4,12,36))) val cols = Array("x1","x2") val vectors = new VectorAssembler().setInputCols(cols).setOutputCol("predict") import sqlContext.implicits._ val x = vectors.transform(rdd.toDF("x1","x2","y")) val model = new LinearRegression() //自變量的數(shù)據(jù)名 .setFeaturesCol("predict") //因變量 .setLabelCol("y") //是否有截距 .setFitIntercept(false) //訓(xùn)練模型 .fit(x) //線性回歸的系數(shù) println(model.coefficients) //線性回歸的截距 println(model.intercept) //線性回歸的自變量的個(gè)數(shù) println(model.numFeatures) //上面的feature列 println(model.summary.featuresCol) //r2 println(model.summary.r2) //平均絕對(duì)誤差 println(model.summary.meanAbsoluteError) //方差 println(model.summary.meanSquaredError) //新的集合x(chóng)1,x2 預(yù)測(cè)y val testRdd = context.makeRDD(List((1,3),(2,6),(3,9),(4,12))) //根據(jù)上面的模型預(yù)測(cè)結(jié)果 val testSet = vectors.transform(testRdd.toDF("x1","x2")) val pre = model.transform(testSet) pre.show() //println(pre.predictions) } }
關(guān)于如何分析spark-mlib的線性回歸問(wèn)題的解答就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,如果你還有很多疑惑沒(méi)有解開(kāi),可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道了解更多相關(guān)知識(shí)。