這篇文章主要介紹“怎么在ForeSpider數(shù)據(jù)采集器中設(shè)置代理IP”，在日常操作中，相信很多人在怎么在ForeSpider數(shù)據(jù)采集器中設(shè)置代理IP問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”怎么在ForeSpider數(shù)據(jù)采集器中設(shè)置代理IP”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

10年積累的網(wǎng)站制作、成都做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先制作網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有鐵山港免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

-01- 創(chuàng)建代理IP

打開ForeSpider數(shù)據(jù)采集引擎，IP代理設(shè)置，如下圖所示創(chuàng)建代理IP。

1.名稱：自定義即可，可由文字、字母、其他符號(hào)等組成；

2.類型：有靜態(tài)代理和動(dòng)態(tài)代理，F(xiàn)oreSpider采集系統(tǒng)中動(dòng)靜態(tài)與市場(chǎng)上不同，F(xiàn)oreSpider爬蟲軟件中代理IP動(dòng)靜態(tài)代理可以通過代理IP接入形式來區(qū)分靜態(tài)和動(dòng)態(tài)。

①動(dòng)態(tài)代理：爬蟲使用的代理IP是變化的，一般情況是通過代理IP服務(wù)商提供的一個(gè)API鏈接來獲取代理IP，這種情況是動(dòng)態(tài)代理。在系統(tǒng)中，在如下圖標(biāo)記位置填入API鏈接。

②靜態(tài)代理：爬蟲使用的代理IP是固定一個(gè)/多個(gè)IP地址，一般代理IP服務(wù)商會(huì)提供IP地址、端口、用戶名、密碼，這種情況是靜態(tài)代理IP。有的代理IP服務(wù)商只有IP地址和端口，這類也是屬于靜態(tài)代理，遇到這種情況時(shí)用戶名和密碼為空即可。

3.請(qǐng)求頻率：是指ForeSpider運(yùn)行時(shí)調(diào)用每個(gè)代理IP的頻率，爬蟲運(yùn)行時(shí)，線程數(shù)目=請(qǐng)求頻率*代理IP數(shù)。

比如：接入了一個(gè)每秒請(qǐng)求10個(gè)IP的代理，設(shè)置的請(qǐng)求頻率為5。那么爬蟲運(yùn)行時(shí)，每秒請(qǐng)求50次代理IP，這時(shí)候采集運(yùn)行速度中的線程數(shù)目最佳為50。

-02- 代理IP設(shè)置

1.動(dòng)態(tài)代理IP設(shè)置

在ForeSpider爬蟲中，新建一個(gè)動(dòng)態(tài)代理IP后，填寫以下幾個(gè)基本參數(shù):

①協(xié)議類型：默認(rèn)http/https，兩種協(xié)議均支持；

②返回格式：是指返回IP格式，包括TXT和未知格式，選擇TXT格式即可返回TXT格式，TXT格式可以不用寫腳本獲取IP；

③刷新周期：請(qǐng)求調(diào)用API的頻率，單位是毫秒，根據(jù)實(shí)際購買情況來填寫即可。

④請(qǐng)求地址：填寫API鏈接即可。

填寫完以上信息后可點(diǎn)擊【測(cè)試】按鈕進(jìn)行測(cè)試，測(cè)試結(jié)果會(huì)顯示在屏幕下方。測(cè)試成功后，確認(rèn)勾選所用代理IP，點(diǎn)擊保存按鈕，如下圖所示：

保存好之后，就可以開始進(jìn)行數(shù)據(jù)采集了。

2.靜態(tài)代理IP設(shè)置

在ForeSpider爬蟲中，新建一個(gè)靜態(tài)代理IP后，需要填寫以下參數(shù)：

①IP地址：由代理IP服務(wù)商提供。

②端口：由代理IP服務(wù)商提供。

③類型：根據(jù)要采集網(wǎng)站類型來選擇，有http和https類型；

④有效時(shí)長(zhǎng)：可理解為到期時(shí)長(zhǎng)，非必填。

當(dāng)同時(shí)使用多個(gè)代理IP且到期時(shí)長(zhǎng)不一致時(shí)可以根據(jù)實(shí)際情況填寫，有效期到則自動(dòng)停止使用該代理IP；

當(dāng)有效時(shí)間在1天以內(nèi)時(shí)，建議填寫，防止出現(xiàn)代理IP到期，F(xiàn)oreSpider爬蟲還在運(yùn)行而導(dǎo)致采集失敗的情況。

如果不填寫，需要在代理IP到期之前手動(dòng)關(guān)閉，否則會(huì)導(dǎo)致采集失敗。如下圖所示：

⑤用戶名：由代理IP服務(wù)商提供。

⑥密碼：由代理IP服務(wù)商提供。

填寫完之后在需要使用的代理IP前打上對(duì)勾，打開代理IP按鈕，后保存。如下圖所示：

-03- 腳本設(shè)置

在ForeSpider數(shù)據(jù)采集系統(tǒng)中，當(dāng)代理IP接入情況不屬于以上描述靜態(tài)/動(dòng)態(tài)接入方式時(shí)，使用腳本設(shè)置代理IP。

腳本設(shè)置與動(dòng)態(tài)設(shè)置類似，需要先把以下幾項(xiàng)根據(jù)實(shí)際情況來進(jìn)行設(shè)置，具體如下：

①協(xié)議類型：默認(rèn)http/https，兩種協(xié)議均支持；

②返回格式：選擇未知格式即可，腳本可獲取TXT格式。

③刷新周期：請(qǐng)求調(diào)用API的頻率，單位是毫秒，根據(jù)實(shí)際購買情況來填寫即可。

④請(qǐng)求地址：填寫代理商提供的API鏈接。

⑤POST DATA：根據(jù)代理不同，post請(qǐng)求的情況下填寫該內(nèi)容。

⑥代碼編輯區(qū)：需要填寫一段腳本，以調(diào)用代理IP。代碼如下：

ips = DOWNDATA.Split('\n');vart;for(i=0;i

將以上的代碼粘貼到編輯框后，通常僅需修改最后一句腳本，括號(hào)里分別填寫：IP地址+端口、用戶名、密碼、有效時(shí)長(zhǎng)、http/https即可。

-04- 其他設(shè)置

ForeSpider爬蟲系統(tǒng)中，代理IP混用策略有以下三個(gè)：

1.采集禁用本地IP

設(shè)置后采集只用代理IP，如果代理IP失效或未開啟，則會(huì)采集失敗。

2.代理失敗使用本地IP

代理IP失效或者失敗后會(huì)直接使用本地IP進(jìn)行采集。

3.只使用本地IP

設(shè)置后采集時(shí)僅用本地IP。

注意事項(xiàng)

①在采集過程中修改代理IP，需要暫停/停止采集然后再修改。

②當(dāng)請(qǐng)求代理IP的api地址是變化的，比如鏈接地址中有時(shí)間戳的情況時(shí)，F(xiàn)oreSpider中代理IP暫不支持接入。

③當(dāng)返回內(nèi)容不帶密碼，但要求必須提供密碼時(shí)，可以使用腳本設(shè)置來接入。

④在不知道代理IP的請(qǐng)求數(shù)時(shí)，請(qǐng)求頻率最好填1，也可填寫1-10中任意數(shù)。

⑤請(qǐng)求到一批新的代理IP時(shí)，在有效期內(nèi)的舊代理IP依然可以使用。

到此，關(guān)于“怎么在ForeSpider數(shù)據(jù)采集器中設(shè)置代理IP”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！