這篇文章主要介紹了如何用python獲取免費(fèi)代理IP的相關(guān)知識，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇如何用python獲取免費(fèi)代理IP文章都會有所收獲，下面我們一起來看看吧。

我們提供的服務(wù)有：成都網(wǎng)站制作、做網(wǎng)站、外貿(mào)營銷網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、白堿灘ssl等。為成百上千企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的白堿灘網(wǎng)站制作公司

首先創(chuàng)建scrapy項(xiàng)目， 運(yùn)行一下命令：

$ scrapy startproject getProxy kuaidaili.com

$ scrapy genspider proxyKdlSpider kuaidaili.com

百度搜索免費(fèi)代理ip， 我進(jìn)的是快代理， 頁面通過列表顯示代理ip及其相關(guān)信息的。

3. 通過以上的界面， 改寫items.py, 增加如下項(xiàng)， 用來保存代理ip的相關(guān)信息

4. 通過觀察頁面源碼， 發(fā)現(xiàn)我們需要的代理ip信息可用xpath輕易獲取。

5. 通過上圖觀察到的規(guī)律改寫proxyKdlSpider.py文件， 通過如下xpath可獲取代理ip信息。

6. 改寫pipelines.py, 將解析提取出來的代理ip信息保存到文件proxy.txt中。

7. 改寫settings.py, 增加以下行：

其中USER_AGENT會改寫請求headers。 因快代理網(wǎng)站會通過USER_AGENT來判斷訪問者是否爬蟲， 不這樣設(shè)置會導(dǎo)致運(yùn)行爬蟲的ip被封禁。

設(shè)置DOWNLOAD_DELAY=5含義是爬蟲每5s請求一個(gè)網(wǎng)頁， 這樣設(shè)置的目的是為了避免快速訪問大量網(wǎng)頁觸發(fā)網(wǎng)站的反爬蟲機(jī)制

設(shè)置ITEM_PIPELINES是告訴爬蟲在過濾完需要的信息后如何保存。

8 運(yùn)行編寫的爬蟲：

$ scrapy crawl proxyKdlSpider

由于我們限制了采集速度， 過程會有點(diǎn)長。 運(yùn)行完畢后采集結(jié)果如下：

關(guān)于“如何用python獲取免費(fèi)代理IP”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“如何用python獲取免費(fèi)代理IP”知識都有一定的了解，大家如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。