PHP判斷是不是爬蟲的方法

理論上是無法判斷，一般可以判斷瀏覽器代理，但是爬蟲其實(shí)可以完全模擬瀏覽器。我網(wǎng)站禁止爬蟲的代碼如下：

公司主營業(yè)務(wù)：網(wǎng)站設(shè)計、成都網(wǎng)站設(shè)計、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出白云免費(fèi)做網(wǎng)站回饋大家。

//禁止OFFICE、尼姆達(dá)、蜘蛛

if?(stripos($_SERVER['HTTP_USER_AGENT'],'Microsoft?')===0?||

stripos($_SERVER['HTTP_USER_AGENT'],'Microsoft-WebDAV-MiniRedir')===0?||

stripos($_SERVER['HTTP_USER_AGENT'],'Baiduspider')===0?||

stripos($_SERVER['HTTP_USER_AGENT'],'Sogou?Orion?spider')===0?||

stripos($_SERVER['HTTP_USER_AGENT'],'Googlebot'))?exit('EXPLORER?ERROR(你的瀏覽器出現(xiàn)嚴(yán)重錯誤),MAY?BE?INFFECT?VIRUS(你的電腦可能感染病毒)!');

php怎么設(shè)置爬蟲爬過的網(wǎng)頁不再爬,原理是怎么樣？

爬過的網(wǎng)頁網(wǎng)址放在一個數(shù)組或者list表或者其它地方，然后爬的時候去判斷是否已存在，存在就不要去爬

php如何防止網(wǎng)站內(nèi)容被采集

1、限制IP地址單位時間的訪問次數(shù)

分析：沒有哪個常人一秒鐘內(nèi)能訪問相同網(wǎng)站5次，除非是程序訪問，而有這種喜好的，就剩下搜索引擎爬蟲和討厭的采集器了。

弊端：一刀切，這同樣會阻止搜索引擎對網(wǎng)站的收錄

適用網(wǎng)站：不太依靠搜索引擎的網(wǎng)站

采集器會怎么做：減少單位時間的訪問次數(shù)，減低采集效率

2、屏蔽ip

分析：通過后臺計數(shù)器，記錄來訪者ip和訪問頻率，人為分析來訪記錄，屏蔽可疑Ip。

弊端：似乎沒什么弊端，就是站長忙了點(diǎn)

適用網(wǎng)站：所有網(wǎng)站，且站長能夠知道哪些是google或者百度的機(jī)器人

采集器會怎么做：打游擊戰(zhàn)唄!利用ip代理采集一次換一次，不過會降低采集器的效率和網(wǎng)速(用代理嘛)。

3、利用js加密網(wǎng)頁內(nèi)容

Note:這個方法我沒接觸過，只是從別處看來

分析：不用分析了，搜索引擎爬蟲和采集器通殺

適用網(wǎng)站：極度討厭搜索引擎和采集器的網(wǎng)站

采集器會這么做：你那么牛，都豁出去了，他就不來采你了

4、網(wǎng)頁里隱藏網(wǎng)站版權(quán)或者一些隨機(jī)垃圾文字，這些文字風(fēng)格寫在css文件中

分析：雖然不能防止采集，但是會讓采集后的內(nèi)容充滿了你網(wǎng)站的版權(quán)說明或者一些垃圾文字，因?yàn)橐话悴杉鞑粫瑫r采集你的css文件，那些文字沒了風(fēng)格，就顯示出來了。

適用網(wǎng)站：所有網(wǎng)站

采集器會怎么做：對于版權(quán)文字，好辦，替換掉。對于隨機(jī)的垃圾文字，沒辦法，勤快點(diǎn)了。

5、用戶登錄才能訪問網(wǎng)站內(nèi)容

分析：搜索引擎爬蟲不會對每個這樣類型的網(wǎng)站設(shè)計登錄程序。聽說采集器可以針對某個網(wǎng)站設(shè)計模擬用戶登錄提交表單行為。

適用網(wǎng)站：極度討厭搜索引擎，且想阻止大部分采集器的網(wǎng)站

采集器會怎么做：制作擬用戶登錄提交表單行為的模塊