kde(kernel density estimation)是核密度估計。核的作用是根據(jù)離散采樣，估計連續(xù)密度分布。
成都創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站建設(shè)、成都網(wǎng)站制作與策劃設(shè)計,金寨網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:金寨等地區(qū)。金寨做網(wǎng)站價格咨詢:18982081108
如果原始采樣是《陰陽師》里的式神，那么kernel（核函數(shù)）就相當(dāng)于御魂。
假設(shè)現(xiàn)在有一系列離散變量X = [4, 5, 5, 6, 12, 14, 15, 15, 16, 17],可見5和15的概率密度應(yīng)該要高一些，但具體有多高呢？有沒有三四層樓那么高，有沒有華萊士高？如果要估計的是沒有出現(xiàn)過的3呢？這就要自己判斷了。
核函數(shù)就是給空間的每個離散點都套上一個連續(xù)分布。最簡單的核函數(shù)是Parzen窗，類似一個方波：
這時候單個離散點就可以變成區(qū)間，空間或者高維空間下的超立方，實質(zhì)上是進(jìn)行了升維。
設(shè)h=4，則3的概率密度為：
(只有4對應(yīng)的核函數(shù)為1，其他皆為0)
kernel是非負(fù)實值對稱可積函數(shù)，表示為K，且一本滿足：
這樣才能保證cdf仍為1。
實際上應(yīng)用最多的是高斯核函數(shù)(Gaussian Kernel)，也就是標(biāo)準(zhǔn)正態(tài)分布。所謂核密度估計就是把所有離散點的核函數(shù)加起來，得到整體的概率密度分布。核密度估計在很多機(jī)器學(xué)習(xí)算法中都有應(yīng)用，比如K近鄰、K平均等。
在支持向量機(jī)里，也有“核”的概念，同樣也是給數(shù)據(jù)升維，最常用的還是高斯核函數(shù)，也叫徑向基函數(shù)(Radial Basis Funtion)。
seaborn.kdeplot內(nèi)置了多種kerne，總有一款適合你。
這個和用不用python沒啥關(guān)系，是數(shù)據(jù)來源的問題。 調(diào)用淘寶API，使用 api相關(guān)接口獲得你想要的內(nèi)容，我 記得api中有相關(guān)的接口，你可以看一下接口的說明。 用python做爬蟲來進(jìn)行頁面數(shù)據(jù)的獲齲。
SVM 是 Support Vector Machine 的簡稱，它的中文名為支持向量機(jī)，屬于一種有監(jiān)督的機(jī)器學(xué)習(xí)算法，可用于離散因變量的分類和連續(xù)因變量的預(yù)測。通常情況下，該算法相對于其他單一的分類算法（如 Logistic 回歸、決策樹、樸素貝葉斯、 KNN 等）會有更好的預(yù)測準(zhǔn)確率，主要是因為它可以將低維線性不可分的空間轉(zhuǎn)換為高維的線性可分空間。
“分割帶”代表了模型劃分樣本點的能力或可信度，“分割帶”越寬，說明模型能夠?qū)颖军c劃分得越清晰，進(jìn)而保證模型泛化能力越強(qiáng)，分類的可信度越高；反之，“分割帶”越窄，說明模型的準(zhǔn)確率越容易受到異常點的影響，進(jìn)而理解為模型的預(yù)測能力越弱，分類的可信度越低。
線性可分的 所對應(yīng)的函數(shù)間隔滿足 的條件，故 就等于 。所以，可以將目標(biāo)函數(shù) 等價為如下的表達(dá)式：
假設(shè)存在一個需要最小化的目標(biāo)函數(shù) ，并且該目標(biāo)函數(shù)同時受到 的約束。如需得到最優(yōu)化的解，則需要利用拉格朗日對偶性將原始的最優(yōu)化問題轉(zhuǎn)換為對偶問題，即：
分割面的求解
分割面的表達(dá)式
對于非線性SVM模型而言，需要經(jīng)過兩個步驟，一個是將原始空間中的樣本點映射到高維的新空間中，另一個是在新空間中尋找一個用于識別各類別樣本點線性“超平面”。
假設(shè)原始空間中的樣本點為 ，將樣本通過某種轉(zhuǎn)換 映射到高維空間中，則非線性SVM模型的目標(biāo)函數(shù)可以表示為：
其中，內(nèi)積 可以利用核函數(shù)替換，即 。對于上式而言，同樣需要計算最優(yōu)的拉格朗日乘積 ，進(jìn)而可以得到線性“超平面” 與 的值：
假設(shè)原始空間中的兩個樣本點為 ，在其擴(kuò)展到高維空間后，它們的內(nèi)積 如果等于樣本點 在原始空間中某個函數(shù)的輸出，那么該函數(shù)就稱為核函數(shù)。
線性核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：
多項式核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：
高斯核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：
Sigmoid 核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：
在實際應(yīng)用中， SVM 模型對核函數(shù)的選擇是非常敏感的，所以需要通過先驗的領(lǐng)域知識或者交叉驗證的方法選出合理的核函數(shù)。大多數(shù)情況下，選擇高斯核函數(shù)是一種相對偷懶而有效的方法，因為高斯核是一種指數(shù)函數(shù)，它的泰勒展開式可以是無窮維的，即相當(dāng)于把原始樣本點映射到高維空間中。
output_13_0.png
我先直觀地闡述我對SVM的理解，這其中不會涉及數(shù)學(xué)公式，然后給出Python代碼。
SVM是一種二分類模型，處理的數(shù)據(jù)可以分為三類：
線性可分，通過硬間隔最大化，學(xué)習(xí)線性分類器
近似線性可分，通過軟間隔最大化，學(xué)習(xí)線性分類器
線性不可分，通過核函數(shù)以及軟間隔最大化，學(xué)習(xí)非線性分類器
線性分類器，在平面上對應(yīng)直線；非線性分類器，在平面上對應(yīng)曲線。
硬間隔對應(yīng)于線性可分?jǐn)?shù)據(jù)集，可以將所有樣本正確分類，也正因為如此，受噪聲樣本影響很大，不推薦。
軟間隔對應(yīng)于通常情況下的數(shù)據(jù)集（近似線性可分或線性不可分），允許一些超平面附近的樣本被錯誤分類，從而提升了泛化性能。
如下圖：
實線是由硬間隔最大化得到的，預(yù)測能力顯然不及由軟間隔最大化得到的虛線。
對于線性不可分的數(shù)據(jù)集，如下圖：
我們直觀上覺得這時線性分類器，也就是直線，不能很好的分開紅點和藍(lán)點。
但是可以用一個介于紅點與藍(lán)點之間的類似圓的曲線將二者分開，如下圖：
我們假設(shè)這個黃色的曲線就是圓，不妨設(shè)其方程為x^2+y^2=1，那么核函數(shù)是干什么的呢？
我們將x^2映射為X，y^2映射為Y，那么超平面變成了X+Y=1。
那么原空間的線性不可分問題，就變成了新空間的（近似）線性可分問題。
此時就可以運用處理（近似）線性可分問題的方法去解決線性不可分?jǐn)?shù)據(jù)集的分類問題。
---------------------------------------------------------------------------------------------------------------------------
以上我用最簡單的語言粗略地解釋了SVM，沒有用到任何數(shù)學(xué)知識。但是沒有數(shù)學(xué)，就體會不到SVM的精髓。因此接下來我會用盡量簡潔的語言敘述SVM的數(shù)學(xué)思想，如果沒有看過SVM推導(dǎo)過程的朋友完全可以跳過下面這段。
對于求解（近似）線性可分問題：
由最大間隔法，得到凸二次規(guī)劃問題，這類問題是有最優(yōu)解的（理論上可以直接調(diào)用二次規(guī)劃計算包，得出最優(yōu)解）
我們得到以上凸優(yōu)化問題的對偶問題，一是因為對偶問題更容易求解，二是引入核函數(shù)，推廣到非線性問題。
求解對偶問題得到原始問題的解，進(jìn)而確定分離超平面和分類決策函數(shù)。由于對偶問題里目標(biāo)函數(shù)和分類決策函數(shù)只涉及實例與實例之間的內(nèi)積，即xi,xj。我們引入核函數(shù)的概念。
拓展到求解線性不可分問題：
如之前的例子，對于線性不可分的數(shù)據(jù)集的任意兩個實例：xi,xj。當(dāng)我們?nèi)∧硞€特定映射f之后，f(xi)與f(xj)在高維空間中線性可分，運用上述的求解（近似）線性可分問題的方法，我們看到目標(biāo)函數(shù)和分類決策函數(shù)只涉及內(nèi)積f(xi),f(xj)。由于高維空間中的內(nèi)積計算非常復(fù)雜，我們可以引入核函數(shù)K(xi,xj)=f(xi),f(xj)，因此內(nèi)積問題變成了求函數(shù)值問題。最有趣的是，我們根本不需要知道映射f。精彩！
我不準(zhǔn)備在這里放推導(dǎo)過程，因為已經(jīng)有很多非常好的學(xué)習(xí)資料，如果有興趣，可以看：CS229 Lecture notes
最后就是SMO算法求解SVM問題，有興趣的話直接看作者論文：Sequential Minimal Optimization:A Fast Algorithm for Training Support Vector Machines
我直接給出代碼：SMO+SVM
在線性可分?jǐn)?shù)據(jù)集上運行結(jié)果：
圖中標(biāo)出了支持向量這個非常完美，支持向量都在超平面附近。
在線性不可分?jǐn)?shù)據(jù)集上運行結(jié)果（200個樣本）：
核函數(shù)用了高斯核，取了不同的sigma
sigma=1，有189個支持向量，相當(dāng)于用整個數(shù)據(jù)集進(jìn)行分類。
sigma=10，有20個支持向量，邊界曲線能較好的擬合數(shù)據(jù)集特點。
我們可以看到，當(dāng)支持向量太少，可能會得到很差的決策邊界。如果支持向量太多，就相當(dāng)于每次都利用整個數(shù)據(jù)集進(jìn)行分類，類似KNN。
看具體的數(shù)據(jù)，如果特征向量的維度跟訓(xùn)練數(shù)據(jù)的數(shù)量差不多的話建議選線性的，否則的話試試高斯核吧
重慶分公司
重慶分公司
