這篇文章給大家分享的是有關(guān)python爬蟲中js反爬的示例分析的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
網(wǎng)站建設(shè)哪家好,找創(chuàng)新互聯(lián)!專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信平臺小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了文山州免費建站歡迎大家使用!目標(biāo)網(wǎng)站
列表頁url: http://www.hnrexian.com/archives/category/jk。
正常網(wǎng)站我們請求url會返回給我們網(wǎng)頁數(shù)據(jù)內(nèi)容等,看看這個網(wǎng)站返回給我們的是什么呢?
我們把相應(yīng)中返回的js代碼格式化一下,方便查看。
< script type = "text/javascript" > function stringToHex(str) { var val = ""; for (var i = 0; i < str.length; i++) { if (val == "") val = str.charCodeAt(i).toString(16); else val += str.charCodeAt(i).toString(16); } return val; } function YunSuoAutoJump() { var width = screen.width; var height = screen.height; var screendate = width + "," + height; var curlocation = window.location.href; if ( - 1 == curlocation.indexOf("security_verify_")) { document.cookie = "srcurl=" + stringToHex(window.location.href) + ";path=/;"; } self.location = "/archives/category/jk?security_verify_data=" + stringToHex(screendate); } < /script>
說好的返回網(wǎng)頁數(shù)據(jù)源碼呢,這是什么東西!
js破解思路
js破解提供兩種思路,一種是直接用Python來重寫js內(nèi)容,實現(xiàn)模擬js的操作,這種一般用于比較簡單的js;還有一種是用Python第三方庫來解析js,比如pyv8,execjs這些(個人覺得execjs比較好用),這種一般用于比較復(fù)雜的js解析。
分析返回的js分成兩個部分。第一部分,定義了stringToHex和YunSuoAutoJump兩個函數(shù)。第二部分,50毫秒后執(zhí)行YunSuoAutoJump這個函數(shù)。
YunSuoAutoJump這個函數(shù)功能是添加一個cookie并去請求一個構(gòu)造的url,可以從document.cookie 和 self.location這里看出。stringToHex這個函數(shù)的共能其實就是字符串的轉(zhuǎn)換,具體js內(nèi)容可以參考這個網(wǎng)址https://www.runoob.com/js/js-tutorial.html自行查找。
python重寫代碼
那么接下來就是用python來重寫js啦,重寫后代碼如下。
def stringToHex(string): length = len(string) hex_string = str() for i in xrange(length): hex_string += hex(ord(string[i]))[2:] return hex_string def get_cookie(url): hex_string = stringToHex(url) cookie = {"srcurl": hex_string, "path": "/"} return cookie
這是那兩個函數(shù),一個用于字符串轉(zhuǎn)換,一個用于獲取cookie。
最后拿到結(jié)果
接下來模擬瀏覽器操作,其中是分為三部分。第一次,我們請求目標(biāo)url,然后返回給我們js內(nèi)容;第二次,js添加1個cookie并請求了1個構(gòu)造出的url;第三次請求原目標(biāo)url,得到最終的數(shù)據(jù)。
這里我們用requests.Session來保持連接,模擬上面三部的內(nèi)容。
url = "http://www.hnrexian.com/archives/category/jk" s = requests.Session() r = s.get(url) url_2 = re.compile("self\.location\s*=\s*\"(.*?)\"").findall(r.text)[0] screen_date = "1920,1080" url_2 = url_2 + stringToHex(screen_date) url_2 = urljoin(url, url_2) cookie = get_cookie(url) s.cookies.update(cookie) r2 = s.get(url_2) url3 = re.compile("self\.location\s*=\s*\"(.*?)\"").findall(r2.text)[0] r3 = s.get(url3) r3.encoding = "gbk" print r3.text
到這里我們就完美得到最后想要的內(nèi)容了。
感謝各位的閱讀!關(guān)于“python爬蟲中js反爬的示例分析”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學(xué)到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。