創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)專注于赤坎企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站建設(shè),商城系統(tǒng)網(wǎng)站開發(fā)。赤坎網(wǎng)站建設(shè)公司,為赤坎等地區(qū)提供建站服務(wù)。全流程按需求定制網(wǎng)站，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

這篇文章將為大家詳細(xì)講解有關(guān)Python3爬蟲中Ajax的簡(jiǎn)介，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

1. 查看請(qǐng)求

這里還需要借助瀏覽器的開發(fā)者工具，下面以Chrome瀏覽器為例來介紹。

首先，用Chrome瀏覽器打開微博的鏈接https://m.weibo.cn/u/2830678474，隨后在頁面中點(diǎn)擊鼠標(biāo)右鍵，從彈出的快捷菜單中選擇“檢查”選項(xiàng)，此時(shí)便會(huì)彈出開發(fā)者工具，如圖6-2所示：

此時(shí)在Elements選項(xiàng)卡中便會(huì)觀察到網(wǎng)頁的源代碼，右側(cè)便是節(jié)點(diǎn)的樣式。

不過這不是我們想要尋找的內(nèi)容。切換到Network選項(xiàng)卡，隨后重新刷新頁面，可以發(fā)現(xiàn)這里出現(xiàn)了非常多的條目，如圖6-3所示。

前面也提到過，這里其實(shí)就是在頁面加載過程中瀏覽器與服務(wù)器之間發(fā)送請(qǐng)求和接收響應(yīng)的所有記錄。

Ajax其實(shí)有其特殊的請(qǐng)求類型，它叫作xhr。在圖6-3中，我們可以發(fā)現(xiàn)一個(gè)名稱以getIndex開頭的請(qǐng)求，其Type為xhr，這就是一個(gè)Ajax請(qǐng)求。用鼠標(biāo)點(diǎn)擊這個(gè)請(qǐng)求，可以查看這個(gè)請(qǐng)求的詳細(xì)信息，如圖6-4所示。

在右側(cè)可以觀察到其Request Headers、URL和Response Headers等信息。其中Request Headers中有一個(gè)信息為X-Requested-With:XMLHttpRequest，這就標(biāo)記了此請(qǐng)求是Ajax請(qǐng)求，如圖6-5所示。

隨后點(diǎn)擊一下Preview，即可看到響應(yīng)的內(nèi)容，它是JSON格式的。這里Chrome為我們自動(dòng)做了解析，點(diǎn)擊箭頭即可展開和收起相應(yīng)內(nèi)容，如圖6-6所示。

觀察可以發(fā)現(xiàn)，這里的返回結(jié)果是我的個(gè)人信息，如昵稱、簡(jiǎn)介、頭像等，這也是用來渲染個(gè)人主頁所使用的數(shù)據(jù)。JavaScript接收到這些數(shù)據(jù)之后，再執(zhí)行相應(yīng)的渲染方法，整個(gè)頁面就渲染出來了。

另外，也可以切換到Response選項(xiàng)卡，從中觀察到真實(shí)的返回?cái)?shù)據(jù)，如圖6-7所示。

接下來，切回到第一個(gè)請(qǐng)求，觀察一下它的Response是什么，如圖6-8所示。

這是最原始的鏈接https://m.weibo.cn/u/2830678474返回的結(jié)果，其代碼只有不到50行，結(jié)構(gòu)也非常簡(jiǎn)單，只是執(zhí)行了一些JavaScript。

所以說，我們看到的微博頁面的真實(shí)數(shù)據(jù)并不是最原始的頁面返回的，而是后來執(zhí)行JavaScript后再次向后臺(tái)發(fā)送了Ajax請(qǐng)求，瀏覽器拿到數(shù)據(jù)后再進(jìn)一步渲染出來的。

2. 過濾請(qǐng)求

接下來，再利用Chrome開發(fā)者工具的篩選功能篩選出所有的Ajax請(qǐng)求。在請(qǐng)求的上方有一層篩選欄，直接點(diǎn)擊XHR，此時(shí)在下方顯示的所有請(qǐng)求便都是Ajax請(qǐng)求了，如圖6-9所示。

接下來，不斷滑動(dòng)頁面，可以看到頁面底部有一條條新的微博被刷出，而開發(fā)者工具下方也一個(gè)個(gè)地出現(xiàn)Ajax請(qǐng)求，這樣我們就可以捕獲到所有的Ajax請(qǐng)求了。

隨意點(diǎn)開一個(gè)條目，都可以清楚地看到其Request URL、Request Headers、Response Headers、Response Body等內(nèi)容，此時(shí)想要模擬請(qǐng)求和提取就非常簡(jiǎn)單了。

圖6-10所示的內(nèi)容便是我的某一頁微博的列表信息。

到現(xiàn)在為止，我們已經(jīng)可以分析出來Ajax請(qǐng)求的一些詳細(xì)信息了，接下來只需要用程序模擬這些Ajax請(qǐng)求，就可以輕松提取我們所需要的信息了。

關(guān)于Python3爬蟲中Ajax的簡(jiǎn)介就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

分享文章：Python3爬蟲中Ajax的簡(jiǎn)介-創(chuàng)新互聯(lián)
新聞來源：http://weahome.cn/article/jspeg.html