這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)使用Python怎么爬取豆瓣電影名,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù),包含不限于網(wǎng)站設(shè)計制作、成都網(wǎng)站建設(shè)、富平網(wǎng)絡(luò)推廣、成都微信小程序、富平網(wǎng)絡(luò)營銷、富平企業(yè)策劃、富平品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等,從售前售中售后,我們都將竭誠為您服務(wù),您的肯定,是我們最大的嘉獎;成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供富平建站搭建服務(wù),24小時服務(wù)熱線:028-86922220,官方網(wǎng)址:www.cdcxhl.com
1、簡單易用,與C/C++、Java、C# 等傳統(tǒng)語言相比,Python對代碼格式的要求沒有那么嚴格;2、Python屬于開源的,所有人都可以看到源代碼,并且可以被移植在許多平臺上使用;3、Python面向?qū)ο?,能夠支持面向過程編程,也支持面向?qū)ο缶幊蹋?、Python是一種解釋性語言,Python寫的程序不需要編譯成二進制代碼,可以直接從源代碼運行程序;5、Python功能強大,擁有的模塊眾多,基本能夠?qū)崿F(xiàn)所有的常見功能。
一、爬蟲豆瓣電影名思路分析
1、爬蟲代理
headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' }
2、獲取網(wǎng)絡(luò)連接
res = requests.get("https://movie.douban.com/top250", headers=headers)
第一個參數(shù)就是網(wǎng)址,要確保網(wǎng)址能夠打開,第二個參數(shù)就是代理。
3、對網(wǎng)址進行解析
soup = BeautifulSoup(res.text, 'lxml')
第一個參數(shù)是網(wǎng)站,后綴名".text"是將網(wǎng)站源碼轉(zhuǎn)換為文本,方便解析;
第二個參數(shù)是解析器,而lxml就是一種解析器,用來解析網(wǎng)站。
4、匹配所有電影名所在的標簽
targets = soup.find_all("div", class_="hd")
5、使用簡單的for循環(huán),輸出標簽中的電影名
for each in targets: print(each.a.span.text)
循環(huán)輸出就可以了,但要注意轉(zhuǎn)換為文本,避免出現(xiàn)亂碼的情況。
二、爬蟲豆瓣電影名簡單代碼示例
import requests from bs4 import BeautifulSoup if __name__ == '__main__': headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' } res = requests.get("https://movie.douban.com/top250", headers=headers) print(res.status_code) soup = BeautifulSoup(res.text, 'lxml') targets = soup.find_all("div", class_="hd") for each in targets: print(each.a.span.text
上述就是小編為大家分享的使用Python怎么爬取豆瓣電影名了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。