這篇文章主要介紹了python用哪些軟件寫(xiě)爬蟲(chóng),具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
代碼編輯運(yùn)行環(huán)境:
個(gè)人推薦PyCharm社區(qū)版,當(dāng)然,Python自帶的IDLE也行,Notepad++亦可,只要自己使用得習(xí)慣。
F12 開(kāi)發(fā)者工具
看源代碼:快速定位元素分析xpath:1、此處建議谷歌系瀏覽器,可以在源碼界面直接右鍵看
抓包工具
推薦httpfox,火狐瀏覽器下的插件,比起谷歌火狐是自帶的F12工具都要好,可以方便查看網(wǎng)站收包發(fā)包的信息
XPATH CHECKER (火狐插件)
非常不錯(cuò)的xpath測(cè)試工具,不過(guò)也有幾個(gè)小缺點(diǎn),:
xpath checker生成的是絕對(duì)路徑,遇到一些動(dòng)態(tài)生成的圖標(biāo)(常見(jiàn)的有列表翻頁(yè)按鈕等),飄忽不定的絕對(duì)路徑很有可能造成錯(cuò)誤,所以這里建議在真正分析的時(shí)候,只是作為參考記得把如下圖xpath框里的“x:”去掉,貌似這個(gè)是早期版本xpath的語(yǔ)法,目前已經(jīng)和一些模塊不兼容(比如scrapy),還是刪去避免報(bào)錯(cuò)。
正則表達(dá)測(cè)試工具
在線正則表達(dá)式測(cè)試 ,拿來(lái)多練練手,也輔助分析!里面有很多現(xiàn)成的正則表達(dá)式可以用,也可以進(jìn)行參考!
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享python用哪些軟件寫(xiě)爬蟲(chóng)內(nèi)容對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,遇到問(wèn)題就找創(chuàng)新互聯(lián),詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!