1. 背景

創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)十年堅(jiān)持，服務(wù)企業(yè)網(wǎng)站設(shè)計(jì)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站建設(shè)服務(wù)。上1000+企業(yè)的合作經(jīng)驗(yàn)，幫助我們?yōu)榉?wù)企業(yè)不斷提升價(jià)值。為企業(yè)建設(shè)開發(fā)網(wǎng)站和維護(hù)，主推個性化定制型網(wǎng)站設(shè)計(jì)

在使用selenium瀏覽器渲染技術(shù)，爬取網(wǎng)站信息時，一般來說，速度是很慢的。而且一般需要用到這種技術(shù)爬取的網(wǎng)站，反爬技術(shù)都比較厲害，對IP的訪問頻率應(yīng)該有相當(dāng)?shù)南拗?。所以，如果想提升selenium抓取數(shù)據(jù)的速度，可以從兩個方面出發(fā)：

第一，提高抓取頻率，出現(xiàn)驗(yàn)證信息時進(jìn)行破解，一般是驗(yàn)證碼或者用戶登錄。

第二，使用多線程 + 代理IP， 這種方式，需要電腦有足夠的內(nèi)存和充足穩(wěn)定的代理IP 。

2. 為chrome設(shè)置代理IP

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 設(shè)置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 一定要注意，=兩邊不能有空格，不能是這樣--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本機(jī)ip，查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出，清除瀏覽器緩存
browser.quit()

本文名稱：selenium+python設(shè)置爬蟲代理IP的方法-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://weahome.cn/article/epego.html