小編給大家分享一下spark mllib中決策樹優(yōu)缺點是什么，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

成都創(chuàng)新互聯(lián)公司成立于2013年，我們提供高端重慶網(wǎng)站建設(shè)公司、成都網(wǎng)站制作公司、網(wǎng)站設(shè)計、網(wǎng)站定制、網(wǎng)絡(luò)營銷推廣、成都小程序開發(fā)、微信公眾號開發(fā)、網(wǎng)站推廣服務(wù)，提供專業(yè)營銷思路、內(nèi)容策劃、視覺設(shè)計、程序開發(fā)來完成項目落地，為搬家公司企業(yè)提供源源不斷的流量和訂單咨詢。

決策樹的優(yōu)點：

1. 可以生成可以理解的規(guī)則。

2. 計算量相對來說不是很大。

3. 可以處理連續(xù)和種類字段。

4. 決策樹可以清晰的顯示哪些字段比較重要

決策樹的缺點：

1. 對連續(xù)性的字段比較難預(yù)測。

2. 對有時間順序的數(shù)據(jù)，需要很多預(yù)處理的工作。

3. 當類別太多時，錯誤可能就會增加的比較快。

4. 一般的算法分類的時候，只是根據(jù)一個字段來分類。

出去玩記錄表

運行代碼如下

package spark.DT

import org.apache.spark.mllib.tree.DecisionTree
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.{SparkContext, SparkConf}

/**
  * 決策樹使用案例－出去玩
  * **********************************決策樹********************************
  * 決策樹是一種監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)，就是給定一對樣本，每個樣本都有一組屬性和一個類別，
  * 這些類別是事先確定的，那么通過學(xué)習(xí)得到一個分類器，這個分類器能夠?qū)π鲁霈F(xiàn)的對象給
  * 出正確的分類．其原理是：從一組無序無規(guī)則的因素中歸納總結(jié)出符合要求的分類規(guī)則．
  *
  * 決策樹算法基礎(chǔ)：信息熵，ID3
  * 信息熵：對事件中不確定的信息的度量．一個事件或?qū)傩灾?，其信息熵越大，含有的不確定信
  *   息越大，對數(shù)據(jù)分析的計算也越有益．故，信息熵的選擇總是選擇當前事件中擁有最高
  *   信息熵的那個屬性作為待測屬性．
  * ID3：一種貪心算法，用來構(gòu)造決策樹．以信息熵的下降速度作為測試屬性的標準，即在每個
  *   節(jié)點選取還尚未被用來劃分的，具有最高信息增益的屬性作為劃分標準，然后繼續(xù)這個過程，
  *   直到生成的決策樹能完美分類訓(xùn)練樣例．
  *
  * 使用場景：任何一個只要符合　key-value　模式的分類數(shù)據(jù)都可以根據(jù)決策樹進行推斷．
  *
  * 決策樹用來預(yù)測的對象是固定的，叢根到葉子節(jié)點的一條特定路線就是一個分類規(guī)則，決定
  * 一個分類算法和結(jié)果．
  *
  * **********************************決策樹********************************
  * Created by eric on 16-7-19.
  */
object DT {
  val conf = new SparkConf()                                     //創(chuàng)建環(huán)境變量
    .setMaster("local")                                             //設(shè)置本地化處理
    .setAppName("ZombieBayes")                              //設(shè)定名稱
  val sc = new SparkContext(conf)

  def main(args: Array[String]) {
    val data = MLUtils.loadLibSVMFile(sc, "./src/main/spark/DT/DTree.txt")

    val numClasses = 2//分類數(shù)量
    val categorycalFeaturesInfo = Map[Int, Int]()//設(shè)定輸入格式
    val impurity = "entropy" //設(shè)定信息增益計算方式
    val maxDepth = 5 //最大深度
    val maxBins = 3 //設(shè)定分割數(shù)據(jù)集

    val model = DecisionTree.trainClassifier(
      data,//輸入數(shù)據(jù)集
      numClasses,//分類數(shù)量，本例只有出去，不出去，共兩類
      categorycalFeaturesInfo,// 屬性對格式，這里是單純的鍵值對
      impurity,//計算信息增益形式
      maxDepth,// 樹的高度
      maxBins//能夠分裂的數(shù)據(jù)集合數(shù)量
    )

    println(model.topNode)
    println(model.numNodes)//5
    println(model.algo)//Classification
  }
}

DTree.txt

1 1:1 2:0 3:0 4:1
0 1:1 2:0 3:1 4:1
0 1:0 2:1 3:0 4:0
1 1:1 2:1 3:0 4:0
1 1:1 2:0 3:0 4:0
1 1:1 2:1 3:0 4:0

結(jié)果如下

id = 1, isLeaf = false, predict = 1.0 (prob = 0.6666666666666666), impurity = 0.9182958340544896, split = Some(Feature = 0, threshold = 0.0, featureType = Continuous, categories = List()), stats = Some(gain = 0.31668908831502096, impurity = 0.9182958340544896, left impurity = 0.0, right impurity = 0.7219280948873623)

5

Classification

看完了這篇文章，相信你對“spark mllib中決策樹優(yōu)缺點是什么”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！