今天就跟大家聊聊有關(guān)如何使用sklearn進行數(shù)據(jù)挖掘，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

10年積累的網(wǎng)站設(shè)計、網(wǎng)站建設(shè)經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先做網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有龍陵免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

1.1 數(shù)據(jù)挖掘的步驟

?數(shù)據(jù)挖掘通常包括數(shù)據(jù)采集，數(shù)據(jù)分析，特征工程，訓(xùn)練模型，模型評估等步驟。使用sklearn工具可以方便地進行特征工程和模型訓(xùn)練工作，在《使用sklearn做單機特征工程》中，我們最后留下了一些疑問：特征處理類都有三個方法fit、transform和fit_transform，fit方法居然和模型訓(xùn)練方法fit同名(不光同名，參數(shù)列表都一樣)，這難道都是巧合?

?顯然，這不是巧合，這正是sklearn的設(shè)計風(fēng)格。我們能夠更加優(yōu)雅地使用sklearn進行特征工程和模型訓(xùn)練工作。此時，不妨從一個基本的數(shù)據(jù)挖掘場景入手：

數(shù)據(jù)挖掘過程

我們使用sklearn進行虛線框內(nèi)的工作(sklearn也可以進行文本特征提取)。通過分析sklearn源碼，我們可以看到除訓(xùn)練，預(yù)測和評估以外，處理其他工作的類都實現(xiàn)了3個方法：fit、transform和fit_transform。從命名中可以看到，fit_transform方法是先調(diào)用fit然后調(diào)用transform，我們只需要關(guān)注fit方法和transform方法即可。

transform方法主要用來對特征進行轉(zhuǎn)換。從可利用信息的角度來說，轉(zhuǎn)換分為無信息轉(zhuǎn)換和有信息轉(zhuǎn)換。無信息轉(zhuǎn)換是指不利用任何其他信息進行轉(zhuǎn)換，比如指數(shù)、對數(shù)函數(shù)轉(zhuǎn)換等。有信息轉(zhuǎn)換從是否利用目標值向量又可分為無監(jiān)督轉(zhuǎn)換和有監(jiān)督轉(zhuǎn)換。無監(jiān)督轉(zhuǎn)換指只利用特征的統(tǒng)計信息的轉(zhuǎn)換，統(tǒng)計信息包括均值、標準差、邊界等等，比如標準化、PCA法降維等。有監(jiān)督轉(zhuǎn)換指既利用了特征信息又利用了目標值信息的轉(zhuǎn)換，比如通過模型選擇特征、LDA法降維等。通過總結(jié)常用的轉(zhuǎn)換類，我們得到下表：

不難看到，只有有信息的轉(zhuǎn)換類的fit方法才實際有用，顯然fit方法的主要工作是獲取特征信息和目標值信息，在這點上，fit方法和模型訓(xùn)練時的fit方法就能夠聯(lián)系在一起了：都是通過分析特征和目標值，提取有價值的信息，對于轉(zhuǎn)換類來說是某些統(tǒng)計量，對于模型來說可能是特征的權(quán)值系數(shù)等。另外，只有有監(jiān)督的轉(zhuǎn)換類的fit和transform方法才需要特征和目標值兩個參數(shù)。fit方法無用不代表其沒實現(xiàn)，而是除合法性校驗以外，其并沒有對特征和目標值進行任何處理，Normalizer的fit方法實現(xiàn)如下：

不基于這些特征處理工作都有共同的方法，那么試想可不可以將他們組合在一起?在本文假設(shè)的場景中，我們可以看到這些工作的組合形式有兩種：流水線式和并行式?；诹魉€組合的工作需要依次進行，前一個工作的輸出是后一個工作的輸入;基于并行式的工作可以同時進行，其使用同樣的輸入，所有工作完成后將各自的輸出合并之后輸出。sklearn提供了包pipeline來完成流水線式和并行式的工作。

1.2 數(shù)據(jù)初貌

?不在此，我們?nèi)匀皇褂肐RIS數(shù)據(jù)集來進行說明。為了適應(yīng)提出的場景，對原數(shù)據(jù)集需要稍微加工：

1.3 關(guān)鍵技術(shù)

?并行處理，流水線處理，自動化調(diào)參，持久化是使用sklearn優(yōu)雅地進行數(shù)據(jù)挖掘的核心。并行處理和流水線處理將多個特征處理工作，甚至包括模型訓(xùn)練工作組合成一個工作(從代碼的角度來說，即將多個對象組合成了一個對象)。在組合的前提下，自動化調(diào)參技術(shù)幫我們省去了人工調(diào)參的反鎖。訓(xùn)練好的模型是貯存在內(nèi)存中的數(shù)據(jù)，持久化能夠?qū)⑦@些數(shù)據(jù)保存在文件系統(tǒng)中，之后使用時無需再進行訓(xùn)練，直接從文件系統(tǒng)中加載即可。

2 并行處理

?并行處理使得多個特征處理工作能夠并行地進行。根據(jù)對特征矩陣的讀取方式不同，可分為整體并行處理和部分并行處理。整體并行處理，即并行處理的每個工作的輸入都是特征矩陣的整體;部分并行處理，即可定義每個工作需要輸入的特征矩陣的列。

2.1 整體并行處理

?pipeline包提供了FeatureUnion類來進行整體并行處理：

整體并行處理有其缺陷，在一些場景下，我們只需要對特征矩陣的某些列進行轉(zhuǎn)換，而不是所有列。pipeline并沒有提供相應(yīng)的類，需要我們在FeatureUnion的基礎(chǔ)上進行優(yōu)化。

?在本文提出的場景中，我們對特征矩陣的第1列(花的顏色)進行定性特征編碼，對第2、3、4列進行對數(shù)函數(shù)轉(zhuǎn)換，對第5列進行定量特征二值化處理。使用FeatureUnionExt類進行部分并行處理的代碼如下：

3 流水線處理

?pipeline包提供了Pipeline類來進行流水線處理。流水線上除最后一個工作以外，其他都要執(zhí)行fit_transform方法，且上一個工作輸出作為下一個工作的輸入。最后一個工作必須實現(xiàn)fit方法，輸入為上一個工作的輸出;但是不限定一定有transform方法，因為流水線的最后一個工作可能是訓(xùn)練!

?根據(jù)本文提出的場景，結(jié)合并行處理，構(gòu)建完整的流水線的代碼如下：

4 自動化調(diào)參

?網(wǎng)格搜索為自動化調(diào)參的常見技術(shù)之一，grid_search包提供了自動化調(diào)參的工具，包括GridSearchCV類。對組合好的對象進行訓(xùn)練以及調(diào)參的代碼如下：

5 持久化

externals.joblib包提供了dump和load方法來持久化和加載內(nèi)存數(shù)據(jù)：

6.回顧

注意：組合和持久化都會涉及pickle技術(shù)，在sklearn的技術(shù)文檔中有說明，將lambda定義的函數(shù)作為FunctionTransformer的自定義轉(zhuǎn)換函數(shù)將不能pickle化。

看完上述內(nèi)容，你們對如何使用sklearn進行數(shù)據(jù)挖掘有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。