創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商,新人活動(dòng)買多久送多久,劃算不套路!
成都創(chuàng)新互聯(lián)從2013年創(chuàng)立,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司,擁有項(xiàng)目網(wǎng)站設(shè)計(jì)制作、做網(wǎng)站網(wǎng)站策劃,項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命,1280元滿城做網(wǎng)站,已為上家服務(wù),為滿城各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575這篇文章將為大家詳細(xì)講解有關(guān)python中獲取頁面的常用方法,小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考,希望大家閱讀完這篇文章后可以有所收獲。
python獲取頁面的方法:1、使用urllib模塊獲取網(wǎng)頁內(nèi)容;2、使用urllib2模塊獲取頁面內(nèi)容;3、使用requests模塊獲取頁面內(nèi)容;4、使用codecs模塊獲取頁面內(nèi)容。
在學(xué)習(xí)python爬蟲的過程中,總會(huì)遇到要獲取網(wǎng)頁內(nèi)容的時(shí)候,下面就對(duì)如何獲取網(wǎng)頁內(nèi)容進(jìn)行總結(jié)。
方法一:
>import urllib >url="http://www.baidu.com" #這里是需要獲取的網(wǎng)頁 >content=urllib.open(url).read() #使用urllib模塊獲取網(wǎng)頁內(nèi)容 >print content #輸出網(wǎng)頁的內(nèi)容 功能相當(dāng)于查看網(wǎng)頁源代碼
方法二:
>import urllib2 >from bs4 import BeautifulSoup #這里需要導(dǎo)入BeautifulSoup >url="http://www.baidu.com" >content=urllib2.urlopen(url) >soup=BeautifulSoup(content) #將網(wǎng)頁內(nèi)容轉(zhuǎn)化為BeautifulSoup 格式的數(shù)據(jù) >print soup
方法三:
>import requests >content=requests.get(url).content >print content
這里是使用的python的requests模塊獲取網(wǎng)頁的內(nèi)容。
方法四:
>import codecs #導(dǎo)入codecs模塊 >f=codecs.open(url,"r","utf-8") #使用codecs函數(shù)以打開的方式打開url 設(shè)置默認(rèn)的編碼方式為utf-8 >content=f.read() >f.close() >print content
關(guān)于python中獲取頁面的常用方法就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。