這篇文章主要介紹“nlp中文數據預處理方法是什么”，在日常操作中，相信很多人在nlp中文數據預處理方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”nlp中文數據預處理方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

網站建設公司,為您提供網站建設,網站制作,網頁設計及定制網站建設服務,專注于企業(yè)網站建設,高端網頁制作,對地磅秤等多個行業(yè)擁有豐富的網站建設經驗的網站建設公司。專業(yè)網站設計,網站優(yōu)化推廣哪家好,專業(yè)成都網站營銷優(yōu)化,H5建站,響應式網站。

數據加載(默認csv格式)

import pandas as pd

datas = pd.read_csv("./test.csv", header=0, index_col=0) # DataFrame

n_datas = data.to_numpy() # ndarray 轉成numpy更好處理(個人喜好)

去除空行

def delete_blank_lines(sentences):

return [s for s in sentences if s.split()]

no_line_datas = delete_blank_lines(n_datas)

去除數字

DIGIT_RE = re.compile(r'\d+')

no_digit_datas = DIGIT_RE.sub('', no_line_datas)

def delete_digit(sentences):

return [DIGIT_RE.sub('', s) for s in sentences]

判斷句子形式(簡單句或者復雜句)

STOPS = ['。', '.', '?', '?', '!', '!'] # 中英文句末字符

def is_sample_sentence(sentence):

count = 0

for word in sentence:

if word in STOPS:

count += 1

if count > 1:

return False

return True

去除中英文標點

from string import punctuation

import re

punc = punctuation + u'

def delete_punc(sentences):

return [re.sub(r"[{}]+".format(punc), '', s) for s in a]

去除英文(僅留漢字)

ENGLISH_RE = re.compile(r'[a-zA-Z]+')

def delete_e_word(sentences):

return [ENGLISH_RE.sub('', s) for s in sentences]

去除亂碼和特殊符號

使用正則表達式去除相關無用符號和亂碼

# 該操作可以去掉所有的符號，標點和英文，由于前期可能需要標點進一步判斷句子是否為簡單句，所以該操作可以放到最后使用。鄭州做婦科檢查價格 http://www.zzkdfk.com/

SPECIAL_SYMBOL_RE = re.compile(r'[^\w\s\u4e00-\u9fa5]+')

def delete_special_symbol(sentences):

return [SPECIAL_SYMBOL_RE.sub('', s) for s in sentences]

中文分詞

# 使用jieba

def seg_sentences(sentences):

cut_words = map(lambda s: list(jieba.cut(s)), sentences)

return list(cut_words)

# 使用pyltp分詞

def seg_sentences(sentences):

segmentor = Segmentor()

segmentor.load('./cws.model') # 加載分詞模型參數

seg_sents = [list(segmentor.segment(sent)) for sent in sentences]

segmentor.release()

return seg_sents

去除停用詞

# 停用詞列表需要自行下載

stopwords = []

def delete_stop_word(sentences):

return [[word for word in s if word not in stopwords] for s in sentences]

到此，關于“nlp中文數據預處理方法是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯網站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
當前名稱：nlp中文數據預處理方法是什么
文章來源：http://weahome.cn/article/jopicd.html