真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商,新人活動(dòng)買多久送多久,劃算不套路!

在蕪湖縣等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需定制,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),成都全網(wǎng)營(yíng)銷,成都外貿(mào)網(wǎng)站建設(shè),蕪湖縣網(wǎng)站建設(shè)費(fèi)用合理。

這篇文章給大家分享的是有關(guān)python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法的內(nèi)容。小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧。

python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法

我們?cè)谧鼍W(wǎng)頁(yè)抓取的時(shí)候,一般來(lái)說(shuō)使用urllib和urllib2就能滿足大部分需求。

但是有時(shí)候我們遇見(jiàn)那種使用js動(dòng)態(tài)加載的網(wǎng)頁(yè)。就會(huì)發(fā)現(xiàn)urllib只能抓出一個(gè)部分內(nèi)容空白的網(wǎng)頁(yè)。就像下面百度圖片的結(jié)果頁(yè):

python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法

審查元素之后,發(fā)現(xiàn)百度圖片中,顯示圖片的div為:pullimages

python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法

這個(gè)div里面的內(nèi)容是動(dòng)態(tài)加載的。而使用urllib&urllib2是抓取不到的。

要抓取動(dòng)態(tài)加載的元素,首先考慮使用selenium來(lái)調(diào)用瀏覽器進(jìn)行抓取。

而我們運(yùn)行的環(huán)境是linux,最理想的方法是在無(wú)界面情況下進(jìn)行抓取,所以使用selenium+phantomjs來(lái)進(jìn)行無(wú)界面抓取。

phantomjs是什么呢?它是一個(gè)基于webkit內(nèi)核的無(wú)頭瀏覽器,即沒(méi)有UI界面,即它就是一個(gè)瀏覽器。

selenium和phantomjs的安裝配置可以google,這里就略過(guò)不談了。

代碼如下:

from selenium import webdriver
driver = webdriver.PhantomJS(executable_path='/bin/phantomjs/bin/phantomjs')
#如果不方便配置環(huán)境變量。就使用phantomjs的絕對(duì)路徑也可以
driver.get('http://image.baidu.com/i?ie=utf-8&word=%E5%91%A8%E6%9D%B0%E4%BC%A6')
#抓取了百度圖片,query:周杰倫
driver.page_source 
#這就是返回的頁(yè)面內(nèi)容了,與urllib2.urlopen().read()的效果是類似的,但比urllib2強(qiáng)在能抓取到動(dòng)態(tài)渲染后的內(nèi)容。
driver.quit()

到這里。就抓取動(dòng)態(tài)頁(yè)面成功了。

感謝各位的閱讀!關(guān)于python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!


分享題目:python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法-創(chuàng)新互聯(lián)
瀏覽地址:http://weahome.cn/article/dhdepj.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部