這篇文章給大家介紹怎么在Python3使用正則表達(dá)式爬取數(shù)據(jù),內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。
代碼如下:
# -*- coding:utf-8 -*- from urllib import request as urllib2 import re # 利用正則表達(dá)式爬取內(nèi)涵段子 url = r'http://www.neihanpa.com/article/list_5_{}.html' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0', } file_name = '內(nèi)涵段子.txt' for page in range(2): # 2表示頁數(shù),可以自行調(diào)整 fullurl = url.format(str(page+1)) request = urllib2.Request(url=fullurl, headers=headers) response = urllib2.urlopen(request) html = response.read().decode('gbk') # re.S 如果沒有re.S 則是只匹配一行有沒有符合規(guī)則的字符串,如果沒有則下一行重新匹配 # 如果加上re.S 則是將所有的字符串作為一個(gè)整體進(jìn)行匹配 pattern = re.compile(r'(.*?)',re.S) duanzis = pattern.findall(html) for duanzi in duanzis: duanzi = duanzi.replace('','').replace('
','').replace('
','\n').replace('“','').replace('&rdquo','').replace('…','') try: # 將爬取的段子寫入文件 file = open(file_name,'a',encoding='utf-8') file.write('\n'.join(duanzi.split())) file.close() except OSError as e: print(e)
關(guān)于怎么在Python3使用正則表達(dá)式爬取數(shù)據(jù)就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。