我們?cè)谶M(jìn)行建模時(shí),變量中經(jīng)常會(huì)有一些變量為離散型變量,例如性別。這些變量我們一般無法直接放到模型中去訓(xùn)練模型。因此在使用之前,我們往往會(huì)對(duì)此類變量進(jìn)行處理。一般是對(duì)離散變量進(jìn)行one-hot編碼。下面具體介紹通過python對(duì)離散變量進(jìn)行one-hot的方法。
注意:這里提供兩種啞編碼的實(shí)現(xiàn)方法,pandas和sklearn。它們大的區(qū)別是,pandas默認(rèn)只處理字符串類別變量,sklearn默認(rèn)只處理數(shù)值型類別變量(需要先 LabelEncoder )
① pd.get_dummies(prefix=)
pandas的get_dummies()可以直接對(duì)變量進(jìn)行one-hot編碼,其中prefix是為one-hot編碼后的變量進(jìn)行命名。
②LabelEncoder和OneHotEncoder
我們也可以通過sklearn的模塊實(shí)現(xiàn)對(duì)離散變量的one-hot編碼,其中LabelEncoder是將離散變量替換為數(shù)字,
OneHotEncoder則實(shí)現(xiàn)對(duì)替換為數(shù)字的離散變量進(jìn)行one-hot編碼。
注:get_dummies()可以直接對(duì)字符型變量進(jìn)行one-hot編碼,但OneHotEncoder不能直接對(duì)字符型變量編碼,因此我們需要先將字符型變量轉(zhuǎn)換為數(shù)值型變量。這就是為什么在OneHotEncoder之前需要LabelEncoder的原因。
下面我們通過實(shí)例來介紹這兩種方法的具體使用:
①數(shù)據(jù)的導(dǎo)入
import pandas as pd import os os.getcwd() os.chdir('E:\study\kaggle\Titanic') from sklearn.preprocessing import OneHotEncoder from sklearn.preprocessing import LabelEncoder data = pd.read_csv('train.csv')