小編給大家分享一下spark mllib中數(shù)據(jù)降維之如何實現(xiàn)主成分分析，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、成都做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)天祝藏族自治免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上1000家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

運行代碼如下

package spark.DataDimensionReduction

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 數(shù)據(jù)降維
  * 主成分分析PCA
  * 設(shè)法將原來具有一定相關(guān)行（比如 P個指標(biāo)）的指標(biāo)
  * 重新組合成一組新的互相無關(guān)的綜合指標(biāo)來代替原來的指標(biāo)，從而實現(xiàn)數(shù)據(jù)降維的目的
  * Created by eric on 16-7-24.
  */
object PCA {
  val conf = new SparkConf()                                     //創(chuàng)建環(huán)境變量
    .setMaster("local")                                             //設(shè)置本地化處理
    .setAppName("PCA")                              //設(shè)定名稱
  val sc = new SparkContext(conf)

  def main(args: Array[String]) {
    val data = sc.textFile("./src/main/spark/DataDimensionReduction/a.txt")
      .map(_.split(" ").map(_.toDouble))
      .map(line => Vectors.dense(line))

    val rm = new RowMatrix(data)
    val pc = rm.computePrincipalComponents(3)//提取主成分，設(shè)置主成分個數(shù)為３
    val mx = rm.multiply(pc)//創(chuàng)建主成分矩陣

    mx.rows.foreach(println)
  }
}

a.txt

1 2 3 4
5 6 7 8
9 0 8 7
6 4 2 1

結(jié)果如下

看完了這篇文章，相信你對“spark mllib中數(shù)據(jù)降維之如何實現(xiàn)主成分分析”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！