一、引子

現(xiàn)在的很多手機管理軟件都有垃圾短信攔截的功能，很智能很貼心是不是
嗯~ o(￣▽￣)o
對于經(jīng)常被垃圾短信騷擾的人來說，很是有用。(??????)??
但是很多的攔截軟件在攔截到垃圾短信之后……又發(fā)個通知提示攔截到了垃圾短信╮（﹀_﹀）╭
好奇心害死貓，你告訴了我你攔截到了垃圾短信，我當(dāng)然想知道你攔截的是什么垃圾短信了╮（╯＿╰）╭ 

二、分類與垃圾短信識別

機器學(xué)習(xí)按性質(zhì)來看，可以分為三大類：

• 分類(監(jiān)督)

• 回歸(監(jiān)督)

• 聚類(半監(jiān)督)
  垃圾短信通常用已標(biāo)記的短信數(shù)據(jù)，對未知的短信進(jìn)行判斷，其屬于機器學(xué)習(xí)中的分類性質(zhì)。
  在Python中有很多機器學(xué)習(xí)的模塊，比如Sklearn、Tensorflow、Caffe等，可以很方便地調(diào)用一些機器學(xué)習(xí)的算法。 

三、垃圾短信識別

嗯，直接上手干……(￣_,￣ )
80w訓(xùn)練數(shù)據(jù)集和20w測試數(shù)據(jù)集均來源于github上的一位小哥哥，在此謝過d=====(￣▽￣*)b 

1、數(shù)據(jù)處理

嗯，先看看數(shù)據(jù)長啥樣：

import pandas as pd
data = pd.read_csv(r"H:\RubbishMessage\data\80w.txt",encoding='utf-8',sep='    ',header=None)
data.head()

最后一列為短信的內(nèi)容，倒數(shù)第二列則是短信的類型，0表示正常短信，1表示垃圾短信。
然后，我們對短信內(nèi)容按照不同的類型（正常短信和垃圾短信）進(jìn)行分割和分詞：

# 垃圾短信import jieba
spam = data[data[1] == 1]
spam[2] = spam[2].map(lambda x:' '.join(jieba.cut(x)))
spam.head()
# 正常短信
normal = data[data[1] == 0]
normal[2] = normal[2].map(lambda x:' '.join(jieba.cut(x)))
normal.head()

分別將不同類型分詞后的短信保存為不同的文件：

spam.to_csv('soam.csv',encoding='utf-8',header=False,index=False,columns=[2])
normal.to_csv('normal.csv',encoding='utf-8',header=False,index=False,columns=[2])

2、模型選擇和訓(xùn)練

在此我們沒有選擇Sklearn或是其他的深度學(xué)習(xí)庫，而是選用NLTK自然語言處理庫來進(jìn)行貝葉斯分類。
導(dǎo)入模塊：

import nltk.classify.util
from nltk.classify import NaiveBayesClassifier
from nltk.corpus import PlaintextCorpusReaderimport random

加載剛剛導(dǎo)出的短信文件：

加載短信語料庫
message_corpus = PlaintextCorpusReader('./',['soam.csv','normal.csv'])
all_message = message_corpus.words()

定義一個特征函數(shù)，用于生成特征：

def massage_feature(word,num_letter=1):
    return {'feature':word[-num_letter:]}

對短信特征進(jìn)行標(biāo)記提取：

labels_name = ([(massage,'垃圾') for massage in message_corpus.words('soam.csv')]+[(massage,'正常') for massage in message_corpus.words('normal.csv')])
random.seed(7)
random.shuffle(labels_name)

訓(xùn)練并預(yù)測模型

from nltk.classify import accuracy as nltk_accuracy
featuresets = [(massage_feature(n),massage) for (n,massage) in labels_name]
train_set,test_set = featuresets[2000:],featuresets[:2000]
classifier = NaiveBayesClassifier.train(train_set)

最后，咱們看看預(yù)測的準(zhǔn)確率怎么樣：

print('結(jié)果準(zhǔn)確率：',str(100*nltk_accuracy(classifier,test_set))+str('%'))