這篇文章主要介紹“怎么用python爬取貓眼電影的前100部影片”，在日常操作中，相信很多人在怎么用python爬取貓眼電影的前100部影片問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么用python爬取貓眼電影的前100部影片”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！
成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設,柘城企業(yè)網(wǎng)站建設,柘城品牌網(wǎng)站建設,網(wǎng)站定制,柘城網(wǎng)站建設報價,網(wǎng)絡營銷,網(wǎng)絡優(yōu)化,柘城網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。
import requestsimport refrom bs4 import BeautifulSoupfrom lxml import etreeimport tracebackimport csv#定義一個函數(shù)獲取豆瓣電影第一頁def get_one_page(url,code = 'utf-8'): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36'} try: r = requests.get(url,headers = headers) if r.status_code == 200: r.encoding = code return r.text else: print("相應失敗") return None except: traceback.print_exc()def process(raw): right = raw.split("@") return right[0]def area(a): if a[-1] == ")": return a[16:] else: return None
def parse_one_page(slst,html): #正則表達式 # rank = re.findall('.*?',html,re.S) # name = re.findall('(.*?)',html,re.S)
# star = re.findall('(.*?)
',html,re.S) # time = re.findall('(.*?)
',html,re.S) # print(time) #正則表達式別忘了加上r,防止轉(zhuǎn)義,否則會報錯 # 把上面的正則表達式合在一起 pattern = re.compile(r'.*?.*?(.*?).*?(.*?)
.*?(.*?)
.*?<.*?>(.*?)(.*?)
',re.S)
items = re.findall(pattern,html) #print(items) for item in items: #yield就相當于return的功能，但也有所不同，yield語句把程序編程迭代器 yield { 'rank':item[0], 'img':process(item[1]), 'MovieName':item[2], "star":item[3].strip()[3:], "time":item[4].strip()[5:15], "area":area(item[4].strip()), "score":str(item[5]) + str(item[6]) } # return ""def write_to_file(item): with open("貓眼top100.csv",'a',encoding = "utf_8_sig",newline="") as f: #a追加模式 newline區(qū)分換行符 fieldnames = ['rank','img','MovieName','star','time','area','score'] w = csv.DictWriter(f,fieldnames = fieldnames) #字典寫入到csv # w.writeheader() w.writerow(item) return ""def down_img(name,url,num): try: response = requests.get(url) with open('C:/Users/HUAWEI/Desktop/py/爬蟲/douban/'+name+'.jpg','wb') as f: f.write(response.content) print("第%s張圖片下載完畢"%str(num)) print("="*20) except Exception as e: print(e.__class__.__name__) #打印錯誤類型名稱def main(i): num = 0 url = 'https://maoyan.com/board/4?offset=' + str(i) html = get_one_page(url) #print(html) lst = [] #這個在這里沒啥用，但以后若要單獨存儲某類信息，可是這樣寫，后面再對應加上函數(shù)參數(shù) iterator = parse_one_page(lst,html) for a in iterator: #print(a) num += 1 write_to_file(a) down_img(a['MovieName'],a['img'],num) # if __name__ == '__main__':# for i in range(10):# main(i) #多線程抓取 from multiprocessing import Poolif __name__ == '__main__': pool = Pool() pool.map(main,[i * 10 for i in range(10)])
最終運行結(jié)果如下：
保存封面圖片
把爬到的信息儲存到csv文件中
到此，關(guān)于“怎么用python爬取貓眼電影的前100部影片”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
當前題目：怎么用python爬取貓眼電影的前100部影片
文章來源：http://weahome.cn/article/poiijs.html
重慶分公司
重慶分公司
