這篇文章主要介紹“nlp中文數(shù)據(jù)預(yù)處理方法是什么”，在日常操作中，相信很多人在nlp中文數(shù)據(jù)預(yù)處理方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”nlp中文數(shù)據(jù)預(yù)處理方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

成都創(chuàng)新互聯(lián)公司是一家專注網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷策劃、微信小程序定制開發(fā)、電子商務(wù)建設(shè)、網(wǎng)絡(luò)推廣、移動互聯(lián)開發(fā)、研究、服務(wù)為一體的技術(shù)型公司。公司成立10多年以來，已經(jīng)為成百上千家PE包裝袋各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務(wù)?，F(xiàn)在，服務(wù)的成百上千家客戶與我們一路同行，見證我們的成長；未來，我們一起分享成功的喜悅。

　　數(shù)據(jù)加載(默認(rèn)csv格式)

　　import pandas as pd

　　datas = pd.read_csv("./test.csv", header=0, index_col=0) # DataFrame

　　n_datas = data.to_numpy() # ndarray 轉(zhuǎn)成numpy更好處理(個人喜好)

　　去除空行

　　def delete_blank_lines(sentences):

　　return [s for s in sentences if s.split()]

　　no_line_datas = delete_blank_lines(n_datas)

　　去除數(shù)字

　　DIGIT_RE = re.compile(r'\d+')

　　no_digit_datas = DIGIT_RE.sub('', no_line_datas)

　　def delete_digit(sentences):

　　return [DIGIT_RE.sub('', s) for s in sentences]

　　判斷句子形式(簡單句或者復(fù)雜句)

　　STOPS = ['。', '.', '?', '?', '!', '!'] # 中英文句末字符

　　def is_sample_sentence(sentence):

　　count = 0

　　for word in sentence:

　　if word in STOPS:

　　count += 1

　　if count > 1:

　　return False

　　return True

　　去除中英文標(biāo)點(diǎn)

　　from string import punctuation

　　import re

　　punc = punctuation + u'

　　def delete_punc(sentences):

　　return [re.sub(r"[{}]+".format(punc), '', s) for s in a]

　　去除英文(僅留漢字)

　　ENGLISH_RE = re.compile(r'[a-zA-Z]+')

　　def delete_e_word(sentences):

　　return [ENGLISH_RE.sub('', s) for s in sentences]

　　去除亂碼和特殊符號

　　使用正則表達(dá)式去除相關(guān)無用符號和亂碼

　　# 該操作可以去掉所有的符號，標(biāo)點(diǎn)和英文，由于前期可能需要標(biāo)點(diǎn)進(jìn)一步判斷句子是否為簡單句，所以該操作可以放到最后使用。鄭州做婦科檢查價格 http://www.zzkdfk.com/

　　SPECIAL_SYMBOL_RE = re.compile(r'[^\w\s\u4e00-\u9fa5]+')

　　def delete_special_symbol(sentences):

　　return [SPECIAL_SYMBOL_RE.sub('', s) for s in sentences]

　　中文分詞

　　# 使用jieba

　　def seg_sentences(sentences):

　　cut_words = map(lambda s: list(jieba.cut(s)), sentences)

　　return list(cut_words)

　　# 使用pyltp分詞

　　def seg_sentences(sentences):

　　segmentor = Segmentor()

　　segmentor.load('./cws.model') # 加載分詞模型參數(shù)

　　seg_sents = [list(segmentor.segment(sent)) for sent in sentences]

　　segmentor.release()

　　return seg_sents

　　去除停用詞

　　# 停用詞列表需要自行下載

　　stopwords = []

　　def delete_stop_word(sentences):

　　return [[word for word in s if word not in stopwords] for s in sentences]

到此，關(guān)于“nlp中文數(shù)據(jù)預(yù)處理方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

分享名稱：nlp中文數(shù)據(jù)預(yù)處理方法是什么-創(chuàng)新互聯(lián)
文章位置：http://weahome.cn/article/dgshjs.html