這篇文章主要介紹“梯度提升決策樹GBDT的方法是什么”，在日常操作中，相信很多人在梯度提升決策樹GBDT的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”梯度提升決策樹GBDT的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

為茅箭等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及茅箭網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為成都網(wǎng)站建設、網(wǎng)站制作、茅箭網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

G-B-D-T梯度提升決策樹，顧名思義，是一個與梯度有關、對決策樹進行了提升的機器學習模型。我們不妨從后往前依次聊聊GBD這幾個定語，從而理解這個模型的精髓。

DT（Decision Tree）決策樹。 T自不必多說，作為一種常見的數(shù)據(jù)結(jié)構(gòu)出現(xiàn)在各種算法當中。DT決策樹，有分類樹與回歸樹兩種，之前文章中講到了分類樹，可參見 與 ?；貧w樹原理機制與分類樹相似，區(qū)別在于分類樹只有在葉子結(jié)點返回唯一分類，而回歸樹的每個節(jié)點都能返回預測值，通常為當前節(jié)點下所有樣本的均值。

B（Boosting）提升。即在原來模型的基礎之上做進一步提升，提升決策樹BDT的基本思想是采用多棵決策樹串行建模。具體過程為，對于第一棵樹之后的每一棵決策樹，都基于前一棵決策樹的輸出進行二次建模，整個串行建模過程相當于對預測結(jié)果朝目標值進行修正。

G（Gradient）梯度。梯度的大小反映了當前預測值與目標值之間的距離。因此，上面B所述的串行決策樹模型，除開第一棵決策樹使用原始預測指標建樹，之后的每一棵決策樹都用前一棵決策樹的預測值與目標值計算出來的負梯度（可以理解為殘差或者增量）來建樹。這相當于給分錯的樣本加權(quán)多次分類，使樣本最終的殘差趨近于0。除開第一棵樹的其他樹，由于都是對目標的殘差或增量進行建模預測，因此GBDT模型只需把過程中每一棵決策樹的輸出結(jié)果累加，便可得到最終的預測輸出。

這里借用網(wǎng)上流傳較廣的一個預測年齡的例子來描述GBDT的過程。一共4個樣本：

A（消費較高、經(jīng)常被學弟問問題）27歲

B（消費較高、經(jīng)常問學長問題）23歲

C（消費較低、經(jīng)常被學弟問問題）17歲

D（消費較低、經(jīng)常問學長問題）13歲

串行決策樹構(gòu)建如下圖所示?？芍Ｐ蛿M合情況，A的年齡為25 + 2 = 27歲，B的年齡為25 - 2 = 23歲，C為15 +２ = 17歲，D為15 - 2 = 13歲。

綜上，一句話概括GBDT的核心思想就是：串行訓練n(n > 2)棵決策樹，其中第i(1 < i ≤ n)棵樹學習第i - 1棵樹的負梯度（可理解為殘差或增量），n棵樹的輸出結(jié)果累加作為最終輸出結(jié)果。

GBDT的優(yōu)點和局限性

優(yōu)點:
1.在預測階段的計算快速，樹與樹之間可以并行化計算
2.在分布稠密的數(shù)據(jù)集上，泛化能力和表達能力都很好。
3.采用決策樹作為弱分類器使得GBDT模型具有較好的解釋性和魯棒性，能夠自動發(fā)現(xiàn)特征間的高階關系，并且也不需要對數(shù)據(jù)進行特殊的預處理。
局限性:
1.GBDT在高維稀疏的數(shù)據(jù)集上，表現(xiàn)不如SVM或者神經(jīng)網(wǎng)絡
2.GBDT在處理文本分類特征問題上，相對其他模型的優(yōu)勢不如在處理數(shù)值特征時明顯。
3.訓練過程需要串行訓練，只能在決策樹內(nèi)部采用一些局部并行的手段提高訓練速度。

到此，關于“梯度提升決策樹GBDT的方法是什么”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
當前名稱：梯度提升決策樹GBDT的方法是什么
本文鏈接：http://weahome.cn/article/jpcssc.html