邏輯回歸是用在分類問題中，而分類為題有存在兩個比較大的方向：分類的結(jié)果用數(shù)值表是，比如1和0(邏輯回歸采用的是這種)，或者-1和1(svm采用的)，還有一種是以概率的形式來反應(yīng)，通過概率來說明此樣本要一個類的程度即概率。同時分類問題通過適用的場合可以分為：離散和連續(xù)，其中決策樹分類，貝葉斯分類都是適用離散場景，但是連續(xù)場景也可以處理，只是處理起來比較麻煩，而邏輯回歸就是用在連續(xù)特征空間中的，并把特征空間中的超平面的求解轉(zhuǎn)化為概率進(jìn)行求解，然后通過概率的形式來找給出分類信息，最后設(shè)置一個閾值來進(jìn)行分類。
首先我們要明白，我們要解決的問題：給你一批數(shù)據(jù)，這一批數(shù)據(jù)特征都是連續(xù)的，并且我還知道這批數(shù)據(jù)的分類信息(x,y),x為特征，y為類別，取值為：0或者1。我們想干什么，想通過這批數(shù)據(jù)，然后再
給一個新的數(shù)據(jù)x，這個數(shù)據(jù)只存在特征，不存在類別，我們想給出分類的結(jié)果，是0還是1。下面為了方便，我們以二維空間的點(diǎn)為例進(jìn)行說明。
遇到這個問題時，我們首先做的是把數(shù)據(jù)的特征放到空間中，看有沒有什么好的特點(diǎn)。如下，從網(wǎng)上取的圖。
這些是二維空間的點(diǎn)，我們想在空間中找到一個超平面，在二維空間中超平面的為一條直線f(x)，當(dāng)我們帶入數(shù)據(jù)時：
得到這樣的結(jié)果。其中
就是我們所要求的的直線。那么找這個直線怎么找，在機(jī)器學(xué)習(xí)中，我們要找的是一個學(xué)習(xí)模型，然后通過損失函數(shù)來進(jìn)行模型參數(shù)的求解。那么對于邏輯回歸，求邏輯回歸的參數(shù)就是w和b，那么這個損失函數(shù)應(yīng)該怎么設(shè)置。給一條數(shù)據(jù)，我們希望，他距離這個直線越遠(yuǎn)我們越可以認(rèn)為能夠很好的進(jìn)行分類，即屬于這個類的可信度就越高。那么我們就需要有一個函數(shù)來反應(yīng)這個情況啊，古人也很聰明啊，使用了logistics函數(shù)：
而且這個函數(shù)又非常的好，f(x)來衡量數(shù)據(jù)距離超平面的距離二維中是直線，他被成為函數(shù)間隔，f(x)是有正負(fù)的，上圖中，在直線上面的點(diǎn)發(fā)f(x)是負(fù)的，相反位于其下的點(diǎn)事正的。這個為什么？是解析幾何的最基本的一些性質(zhì)了。
是直線，而不在這個直線上的點(diǎn)f(x)是帶入后，其實是不等于0的，但是有規(guī)律，則就可以通過這個規(guī)律來進(jìn)行劃分分類。以上面的圖為討論對象，位于上方的點(diǎn)是負(fù)的，為與下方的點(diǎn)是正的，那么當(dāng)f(x)為正，越來越大，則說明點(diǎn)在直線的下方越來越靠下，那么他分為一個類的可能性是不是越大啊，相反，在上方的時候，f(x)是負(fù)的，越來越遠(yuǎn)的時候，是不是越靠近另一個類啊。那么logistics函數(shù)不就是反應(yīng)了這個現(xiàn)象嗎？我們類別設(shè)置成0或者1，當(dāng)f(x)正向大時為1，f(x)負(fù)向大時為0，多好。下面給一下logistics的圖像(網(wǎng)上盜圖)：
這個函數(shù)是不是可以反應(yīng)出我們所說的情況。其中f(x)就是我們logistics函數(shù)的x軸的值。y可以是一個程度，h越大，則說明其分為正類1的可能性越大，h越小，則說明分為負(fù)類0可能性越大。那么在數(shù)學(xué)中可能性的度量是什么？概率啊，logistics函數(shù)的大小剛好是[0,1]之間的，多好啊。那么我們以前的求直線問題就轉(zhuǎn)化為求如下的函數(shù):
把以前的問題就轉(zhuǎn)化為求概率的問題
為什么把y放上面，我認(rèn)為這只是數(shù)學(xué)上的一種表示形式，給一個特征樣本，要么屬于0類的，要么屬于1類的，在不知道的情況下這樣表示和最后知道類別得到的概率是一樣的嘛。變化后的logistics函數(shù)其中的參數(shù)也只是包含w和b，那么我們求解超平面轉(zhuǎn)化為了求解h函數(shù)，在概率問題中，求解最優(yōu)化的損失函數(shù)是誰？這又涉及到另外一個問題，我的數(shù)學(xué)模型已經(jīng)有了，數(shù)學(xué)模型中包含一些參數(shù)，我需要進(jìn)行抽樣，得到這個問題的一些樣本，理由這些樣本來對參數(shù)進(jìn)行估計，對參數(shù)估計時需要一個損失函數(shù)。概率問題最優(yōu)化的損失函數(shù)一般用的是大似然函數(shù)，也就是通過大似然估計進(jìn)行計算。這樣大家又會問，大似然估計大化的是什么？只有知道大化的是什么的時候，我們才能構(gòu)造出似然函數(shù)啊。剛才我們說了進(jìn)行參數(shù)估計時，我們需要一個樣本，那么大似然函數(shù)大化的是這個樣本出現(xiàn)的概率大，從而來求解參數(shù)?？赡苡悬c(diǎn)抽象，在樣本空間中，樣本空間的數(shù)據(jù)很大，我們想得到含有n個對象的樣本，這樣含有n個的樣本是不是有很多很多，不同的人得到的樣本數(shù)據(jù)也不一樣，那么在我們已經(jīng)得到了這n個樣本的情況下，我們進(jìn)行參數(shù)估計，大似然估計大化的是我們已經(jīng)得到的樣本在整個樣本空間中出現(xiàn)的概率大，從而來求解參數(shù)。
通過上面的討論，我們很容易構(gòu)造出我們的似然函數(shù)：
這就很簡單了，把上面的似然函數(shù)對數(shù)化，即：
一般有數(shù)學(xué)基礎(chǔ)的人都會知道我們這個下面就是求導(dǎo)唄，現(xiàn)在的x和y都是已知的只有w是未知的，我們要求的是找到w是我們抽到這個樣本的概率大。但是有一個問題，這樣平白無故的求的w不一定是我們這個樣本中最優(yōu)的啊，不是讓我們在整個樣本空間中進(jìn)行求導(dǎo)，而是我們有一個樣本，在這n個樣本中找到我們最想要那個的w，這個用什么啊，這種搜索算法最常用的就是梯度下降啊，沿著梯度的負(fù)方向來找我們想要的點(diǎn)。
1、圖中的i表示的是第i個記錄，j表示的一個記錄中的第j個特征分量
2、上面的推導(dǎo)中1→ 2為什么有求和，而后又不存在了啊，這個是和梯度下降法有關(guān)系的，梯度下降法就是在當(dāng)前點(diǎn)下找到一個梯度大的點(diǎn)作為下一個可以使用的，所有在1到2中，去掉了求和號
3、2→ 3的推導(dǎo)是根據(jù)logistics函數(shù)的性質(zhì)得到的。
如果這還是不懂，那沒有辦法了。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
