這篇文章主要介紹python爬蟲中如何獲取數(shù)據(jù),文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
網(wǎng)站建設(shè)哪家好,找成都創(chuàng)新互聯(lián)!專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了沙灣免費(fèi)建站歡迎大家使用!
1、爬取數(shù)據(jù),實(shí)際上就是根據(jù)一個(gè)網(wǎng)址向服務(wù)器發(fā)起網(wǎng)絡(luò)請(qǐng)求。
獲取服務(wù)器返回的數(shù)據(jù)。
2、解析數(shù)據(jù),將服務(wù)器返回的數(shù)據(jù)轉(zhuǎn)換成易于理解的樣式。
3、過(guò)濾資料,從大量資料中篩選出所需資料。
4、儲(chǔ)存資料。
實(shí)例
from urllib.request import Request from urllib.request import urlopen # 爬取百度首頁(yè) url1 = 'http://www.baidu.com' # 用一個(gè)變量保存 request = Request(url=url1) response = urlopen(request) # print(response.read().decode('utf-8')) # 獲取的數(shù)據(jù)是源代碼要用decode進(jìn)行解碼操作 html_string = response.read().decode('utf-8') with open('baidu.html', 'w', encoding='utf-8') as fp: fp.write(html_string)
以上是“python爬蟲中如何獲取數(shù)據(jù)”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!