配圖本來計劃選擇一種爬蟲的，可是看到百度搜到的圖片好惡心，所以作罷，還是還原網絡世界真實的爬蟲。

創(chuàng)新互聯(lián)公司網站建設公司是一家服務多年做網站建設策劃設計制作的公司,為廣大用戶提供了網站建設、網站制作，成都網站設計，1元廣告，成都做網站選創(chuàng)新互聯(lián)公司，貼合企業(yè)需求，高性價比，滿足客戶不同層次的需求一站式服務歡迎致電。

爬蟲應該是隨著搜索引擎技術出現的。爬蟲技術主要是用來抓取萬維網網頁內容的主要技術，被爬到的網頁會被收錄進入搜索引擎。一般情況下，企業(yè)作為門戶網站的話是非常希望爬蟲爬到，然后收錄進去，這樣用戶搜索的時候就會被顯示出來，一方面隨著搜索技術飛速發(fā)展，www業(yè)務飛速發(fā)展，各種各樣的爬蟲，***到互聯(lián)網中，爬蟲對于某些網站來說是一種流量的浪費。比如某寶是堅決不讓某度來爬取的，一方面是要保障流量來源，另一方面要保障流量正常，因為www網站中惡意爬蟲會影響正常流量訪問。

于是robots協(xié)議應運而生。

“引用”Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

防止spider任意抓?。海ń谷魏闻老x進行抓取網站的任何目錄）

spider user-agent：*

disallow：/

這些規(guī)則是支持正則的，所以會非常靈活。對于業(yè)務型的頁面可以設置為不可被抓取。

還有一點最重要的：就是要相識的robots協(xié)議生效，就必須web訪問的時候可以訪問到robots.txt，并且robots位于網站的根目錄下。例如：

www.taobao.com/robots.txt就可以看到淘寶的robots協(xié)議。

最后一點，如果你不想要在實名網站留下一些huai的證據，那么也不要寄希望于網站禁止爬蟲，那么請注意保持良好的上網行為。

支付寶-打賞：

微信-打賞：

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。