預測模型的分解過程
目前成都創(chuàng)新互聯(lián)公司已為上千余家的企業(yè)提供了網(wǎng)站建設、域名、網(wǎng)絡空間、成都網(wǎng)站托管、企業(yè)網(wǎng)站設計、盧龍網(wǎng)站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
我總是集中于投入有質(zhì)量的時間在建模的初始階段，比如，假設生成、頭腦風暴、討論或理解可能的結(jié)果范圍。所有這些活動都有助于我解決問題，并最終讓我設計出更強大的商業(yè)解決方案。為什么你要在前面花費這段時間，這有充分的理由：
你有足夠的時間投入并且你是無經(jīng)驗的（這是有影響的）
你不帶有其它數(shù)據(jù)觀點或想法的偏見（我總是建議，在深入研究數(shù)據(jù)之前做假設生成）
在后面的階段，你會急于完成該項目而沒有能力投入有質(zhì)量的時間了。
這個階段需要投入高質(zhì)量時間，因此我沒有提及時間表，不過我建議你把它作為標準的做法。這有助于你建立建立更好地預測模型，在后面的階段的只需較少的迭代工作。讓我們來看看建立第一個模型的剩余階段的時間表：
數(shù)據(jù)描述性分析——50%的時間
數(shù)據(jù)預處理（缺失值和異常值修復）——40%的時間
數(shù)據(jù)建模——4%的時間
性能預測——6%的時間
讓我們一步一步完成每個過程（每一步投入預測的時間）：
階段1：描述性分析/數(shù)據(jù)探索
在我剛開始成為數(shù)據(jù)科學家的時候，數(shù)據(jù)探索占據(jù)了我大量的時間。不過，隨著時間的推移，我已經(jīng)把大量的數(shù)據(jù)操作自動化了。由于數(shù)據(jù)準備占據(jù)建立第一個模型工作量的50%，自動化的好處是顯而易見的。
這是我們的第一個基準模型，我們?nèi)サ羧魏翁卣髟O計。因此，描述分析所需的時間僅限于了解缺失值和直接可見的大的特征。在我的方法體系中，你將需要2分鐘來完成這一步（假設，100000個觀測數(shù)據(jù)集）。
我的第一個模型執(zhí)行的操作：
確定ID，輸入特征和目標特征
確定分類和數(shù)值特征
識別缺失值所在列
階段2：數(shù)據(jù)預處理（缺失值處理）
有許多方法可以解決這個問題。對于我們的第一個模型，我們將專注于智能和快速技術(shù)來建立第一個有效模型。
為缺失值創(chuàng)建假標志：有用，有時缺失值本身就攜帶了大量的信息。
用均值、中位數(shù)或其它簡單方法填補缺失值：均值和中位數(shù)填補都表現(xiàn)良好，大多數(shù)人喜歡用均值填補但是在有偏分布的情況下我建議使用中位數(shù)。其它智能的方法與均值和中位數(shù)填補類似，使用其它相關(guān)特征填補或建立模型。比如，在Titanic生存挑戰(zhàn)中，你可以使用乘客名字的稱呼，比如：“Mr.”, “Miss.”,”Mrs.”,”Master”，來填補年齡的缺失值，這對模型性能有很好的影響。
填補缺失的分類變量：創(chuàng)建一個新的等級來填補分類變量，讓所有的缺失值編碼為一個單一值比如，“New_Cat”，或者，你可以看看頻率組合，使用高頻率的分類變量來填補缺失值。
由于數(shù)據(jù)處理方法如此簡單，你可以只需要3到4分鐘來處理數(shù)據(jù)。
階段3：數(shù)據(jù)建模
根據(jù)不同的業(yè)務問題，我推薦使用GBM或RandomForest技術(shù)的任意一種。這兩個技術(shù)可以極其有效地創(chuàng)建基準解決方案。我已經(jīng)看到數(shù)據(jù)科學家通常把這兩個方法作為他們的第一個模型同時也作為最后一個模型。這最多用去4到5分鐘。
階段4：性能預測
有各種各樣的方法可以驗證你的模型性能，我建議你將訓練數(shù)據(jù)集劃分為訓練集和驗證集（理想的比例是70：30）并且在70%的訓練數(shù)據(jù)集上建?！，F(xiàn)在，使用30%的驗證數(shù)據(jù)集進行交叉驗證并使用評價指標進行性能評估。最后需要1到2分鐘執(zhí)行和記錄結(jié)果。
本文的目的不是贏得比賽，而是建立我們自己的基準。讓我們用python代碼來執(zhí)行上面的步驟，建立你的第一個有較高影響的模型。
讓我們開始付諸行動
首先我假設你已經(jīng)做了所有的假設生成并且你擅長使用python的基本數(shù)據(jù)科學操作。我用一個數(shù)據(jù)科學挑戰(zhàn)的例子來說明。讓我們看一下結(jié)構(gòu)：
步驟1：導入所需的庫，讀取測試和訓練數(shù)據(jù)集。
#導入pandas、numpy包，導入LabelEncoder、random、RandomForestClassifier、GradientBoostingClassifier函數(shù)
import pandas as pd
import numpy as np
fromsklearn.preprocessing import LabelEncoder
import random
fromsklearn.ensemble import RandomForestClassifier
from sklearn.ensembleimport GradientBoostingClassifier
#讀取訓練、測試數(shù)據(jù)集
train=pd.read_csv('C:/Users/AnalyticsVidhya/Desktop/challenge/Train.csv')
test=pd.read_csv('C:/Users/AnalyticsVidhya/Desktop/challenge/Test.csv')
#創(chuàng)建訓練、測試數(shù)據(jù)集標志
train='Train'
test='Test'
fullData =pd.concat(,axis=0) #聯(lián)合訓練、測試數(shù)據(jù)集
步驟2：該框架的第二步并不需要用到python，繼續(xù)下一步。
步驟3：查看數(shù)據(jù)集的列名或概要
fullData.columns # 顯示所有的列名稱
fullData.head(10) #顯示數(shù)據(jù)框的前10條記錄
fullData.describe() #你可以使用describe()函數(shù)查看數(shù)值域的概要
步驟4：確定a)ID變量 b)目標變量 c)分類變量 d)數(shù)值變量 e)其他變量。
ID_col =
target_col =
cat_cols =
num_cols= list(set(list(fullData.columns))-set(cat_cols)-set(ID_col)-set(target_col)-set(data_col))
other_col= #為訓練、測試數(shù)據(jù)集設置標識符
步驟5：識別缺失值變量并創(chuàng)建標志
fullData.isnull().any()#返回True或False，True意味著有缺失值而False相反
num_cat_cols = num_cols+cat_cols # 組合數(shù)值變量和分類變量
#為有缺失值的變量創(chuàng)建一個新的變量
# 對缺失值標志為1，否則為0
for var in num_cat_cols:
if fullData.isnull().any()=True:
fullData=fullData.isnull()*1
步驟6：填補缺失值
#用均值填補數(shù)值缺失值
fullData = fullData.fillna(fullData.mean(),inplace=True)
#用-9999填補分類變量缺失值
fullData = fullData.fillna(value = -9999)
步驟7：創(chuàng)建分類變量的標簽編碼器，將數(shù)據(jù)集分割成訓練和測試集，進一步，將訓練數(shù)據(jù)集分割成訓練集和測試集。
#創(chuàng)建分類特征的標簽編碼器
for var in cat_cols:
number = LabelEncoder()
fullData = number.fit_transform(fullData.astype('str'))
#目標變量也是分類變量，所以也用標簽編碼器轉(zhuǎn)換
fullData = number.fit_transform(fullData.astype('str'))
train=fullData='Train']
test=fullData='Test']
train = np.random.uniform(0, 1, len(train)) = .75
Train, Validate = train=True], train=False]
步驟8：將填補和虛假（缺失值標志）變量傳遞到模型中，我使用隨機森林來預測類。
features=list(set(list(fullData.columns))-set(ID_col)-set(target_col)-set(other_col))
x_train = Train.values
y_train = Train.values
x_validate = Validate.values
y_validate = Validate.values
x_test=test.values
random.seed(100)
rf = RandomForestClassifier(n_estimators=1000)
rf.fit(x_train, y_train)
步驟9：檢查性能做出預測
status = rf.predict_proba(x_validate)
fpr, tpr, _ = roc_curve(y_validate, status)
roc_auc = auc(fpr, tpr)
print roc_auc
final_status = rf.predict_proba(x_test)
test=final_status
test.to_csv('C:/Users/Analytics Vidhya/Desktop/model_output.csv',columns=)
現(xiàn)在可以提交了！
您好
基于以下三個原因，我們選擇Python作為實現(xiàn)機器學習算法的編程語言：(1) Python的語法清晰；(2) 易于操作純文本文件；(3) 使用廣泛，存在大量的開發(fā)文檔。
可執(zhí)行偽代碼
Python具有清晰的語法結(jié)構(gòu)，大家也把它稱作可執(zhí)行偽代碼（executable pseudo-code）。默認安裝的Python開發(fā)環(huán)境已經(jīng)附帶了很多高級數(shù)據(jù)類型，如列表、元組、字典、集合、隊列等，無需進一步編程就可以使用這些數(shù)據(jù)類型的操作。使用這些數(shù)據(jù)類型使得實現(xiàn)抽象的數(shù)學概念非常簡單。此外，讀者還可以使用自己熟悉的編程風格，如面向?qū)ο缶幊?、面向過程編程、或者函數(shù)式編程。不熟悉Python的讀者可以參閱附錄A，該附錄詳細介紹了Python語言、Python使用的數(shù)據(jù)類型以及安裝指南。
Python語言處理和操作文本文件非常簡單，非常易于處理非數(shù)值型數(shù)據(jù)。Python語言提供了豐富的正則表達式函數(shù)以及很多訪問Web頁面的函數(shù)庫，使得從HTML中提取數(shù)據(jù)變得非常簡單直觀。
Python比較流行
Python語言使用廣泛，代碼范例也很多，便于讀者快速學習和掌握。此外，在開發(fā)實際應用程序時，也可以利用豐富的模塊庫縮短開發(fā)周期。
在科學和金融領(lǐng)域，Python語言得到了廣泛應用。SciPy和NumPy等許多科學函數(shù)庫都實現(xiàn)了向量和矩陣操作，這些函數(shù)庫增加了代碼的可讀性，學過線性代數(shù)的人都可以看懂代碼的實際功能。另外，科學函數(shù)庫SciPy和NumPy使用底層語言（C和Fortran）編寫，提高了相關(guān)應用程序的計算性能。本書將大量使用Python的NumPy。
Python的科學工具可以與繪圖工具Matplotlib協(xié)同工作。Matplotlib可以繪制2D、3D圖形，也可以處理科學研究中經(jīng)常使用到的圖形，所以本書也將大量使用Matplotlib。
Python開發(fā)環(huán)境還提供了交互式shell環(huán)境，允許用戶開發(fā)程序時查看和檢測程序內(nèi)容。
Python開發(fā)環(huán)境將來還會集成Pylab模塊，它將NumPy、SciPy和Matplotlib合并為一個開發(fā)環(huán)境。在本書寫作時，Pylab還沒有并入Python環(huán)境，但是不遠的將來我們肯定可以在Python開發(fā)環(huán)境找到它。
一般來說predict函數(shù)都是要import一些機器學習算法庫后用于建模后預測用的。比如說sklearn庫里面的回歸，分類，聚類等等都是有對應predict函數(shù)的。
舉個最簡單的例子：
線性回歸的函數(shù)可以在C:\Python27\Lib\site-packages\sklearn\linear_model文件夾中找到。腳本名為base.py，predict（）在187行就有。
因為sigmoid就是預測0到1之間的連續(xù)值。通常當二分類預測使用，你的問題是否復合二分類如果可以就把類別換成0和1就可以了，如果是做回歸那就不行了，要換其他損失函數(shù)
一些python常用函數(shù)包：
1、Urllib3
Urllib3是一個 Python 的 HTTP 客戶端，它擁有 Python 標準庫中缺少的許多功能：
線程安全
連接池
客戶端 SSL/TLS 驗證
使用分段編碼上傳文件
用來重試請求和處理 HTTP 重定向的助手
支持 gzip 和 deflate 編碼
HTTP 和 SOCKS 的代理支持
2、Six
six 是一個是 Python 2 和 3 的兼容性庫。這個項目旨在支持可同時運行在 Python 2 和 3 上的代碼庫。它提供了許多可簡化 Python 2 和 3 之間語法差異的函數(shù)。
3、botocore、boto3、s3transfer、awscli
Botocore是 AWS 的底層接口。Botocore是 Boto3 庫（#22）的基礎(chǔ)，后者讓你可以使用 Amazon S3 和 Amazon EC2 一類的服務。Botocore 還是 AWS-CLI 的基礎(chǔ)，后者為 AWS 提供統(tǒng)一的命令行界面。
S3transfer（#7）是用于管理 Amazon S3 傳輸?shù)?Python 庫。它正在積極開發(fā)中，其介紹頁面不推薦人們現(xiàn)在使用，或者至少等版本固定下來再用，因為其 API 可能發(fā)生變化，在次要版本之間都可能更改。Boto3、AWS-CLI和其他許多項目都依賴s3transfer。
4、Pip
pip是“Pip Installs Packages”的首字母遞歸縮寫。
pip很容易使用。要安裝一個包只需pip install package name即可，而刪除包只需pip uninstall package name即可。
最大優(yōu)點之一是它可以獲取包列表，通常以requirements.txt文件的形式獲取。該文件能選擇包含所需版本的詳細規(guī)范。大多數(shù) Python 項目都包含這樣的文件。
如果結(jié)合使用pip與virtualenv（列表中的 #57），就可以創(chuàng)建可預測的隔離環(huán)境，同時不會干擾底層系統(tǒng)，反之亦然。
5、Python-dateutil
python-dateutil模塊提供了對標準datetime模塊的強大擴展。我的經(jīng)驗是，常規(guī)的Python datetime缺少哪些功能，python-dateutil就能補足那一塊。
6、Requests
Requests建立在我們的 #1 庫——urllib3基礎(chǔ)上。它讓 Web 請求變得非常簡單。相比urllib3來說，很多人更喜歡這個包。而且使用它的最終用戶可能也比urllib3更多。后者更偏底層，并且考慮到它對內(nèi)部的控制級別，它一般是作為其他項目的依賴項。
7、Certifi
近年來，幾乎所有網(wǎng)站都轉(zhuǎn)向 SSL，你可以通過地址欄中的小鎖符號來識別它。加了小鎖意味著與該站點的通信是安全和加密的，能防止竊聽行為。
8、Idna
根據(jù)其 PyPI 頁面，idna提供了“對 RFC5891 中指定的應用程序中國際化域名（IDNA）協(xié)議的支持。”
IDNA的核心是兩個函數(shù)：ToASCII和ToUnicode。ToASCII會將國際 Unicode 域轉(zhuǎn)換為 ASCII 字符串。ToUnicode則逆轉(zhuǎn)該過程。在IDNA包中，這些函數(shù)稱為idna.encode()和idna.decode()
9、PyYAML
YAML是一種數(shù)據(jù)序列化格式。它的設計宗旨是讓人類和計算機都能很容易地閱讀代碼——人類很容易讀寫它的內(nèi)容，計算機也可以解析它。
PyYAML是 Python 的YAML解析器和發(fā)射器，這意味著它可以讀寫YAML。它會把任何 Python 對象寫成YAML：列表、字典，甚至是類實例都包括在內(nèi)。
10、Pyasn1
像上面的IDNA一樣，這個項目也非常有用：
ASN.1 類型和 DER/BER/CER 編碼（X.208）的純 Python 實現(xiàn)
所幸這個已有數(shù)十年歷史的標準有很多信息可用。ASN.1是 Abstract Syntax Notation One 的縮寫，它就像是數(shù)據(jù)序列化的教父。它來自電信行業(yè)。也許你知道協(xié)議緩沖區(qū)或 Apache Thrift？這就是它們的 1984 年版本。
11、Docutils
Docutils是一個模塊化系統(tǒng)，用來將純文本文檔處理為很多有用的格式，例如 HTML、XML 和 LaTeX 等。Docutils能讀取reStructuredText格式的純文本文檔，這種格式是類似于 MarkDown 的易讀標記語法。
12、Chardet
你可以用chardet模塊來檢測文件或數(shù)據(jù)流的字符集。比如說，需要分析大量隨機文本時，這會很有用。但你也可以在處理遠程下載的數(shù)據(jù)，但不知道用的是什么字符集時使用它。
13、RSA
rsa包是一個純 Python 的 RSA 實現(xiàn)。它支持：
加密和解密
簽名和驗證簽名
根據(jù) PKCS#1 1.5 版生成密鑰
它既可以用作 Python 庫，也能在命令行中使用。
14、Jmespath
JMESPath，發(fā)音為“James path”，使 Python 中的 JSON 更容易使用。它允許你聲明性地指定如何從 JSON 文檔中提取元素。
15、Setuptools
它是用于創(chuàng)建 Python 包的工具。不過，其文檔很糟糕。它沒有清晰描述它的用途，并且文檔中包含無效鏈接。最好的信息源是這個站點，特別是這個創(chuàng)建 Python 包的指南。
16、Pytz
像dateutils一樣，這個庫可幫助你處理日期和時間。有時候，時區(qū)處理起來可能很麻煩。幸好有這樣的包，可以讓事情變得簡單些。
17、Futures
從 Python 3.2 開始，python 提供current.futures模塊，可幫助你實現(xiàn)異步執(zhí)行。futures 包是該庫適用于 Python 2 的 backport。它不適用于 Python3 用戶，因為 Python 3 原生提供了該模塊。
18、Colorama
使用 Colorama，你可以為終端添加一些顏色：
更多Python知識請關(guān)注Python自學網(wǎng)
重慶分公司
重慶分公司
