創(chuàng)新互聯(lián)建站導(dǎo)讀：嚴(yán)格來說robots限制蜘蛛抓取，搜索引擎也是會遵循這個規(guī)則的，現(xiàn)在百度搜索引擎對于robots的態(tài)度是，依然會抓取，但是不會保留百度快照。其他搜索引擎基本也是同樣的。

為祥云等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及祥云網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站設(shè)計、做網(wǎng)站、祥云網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

問題：為什么robots禁止抓取了但搜索引擎還會抓??？

回答：嚴(yán)格來說robots限制蜘蛛抓取，搜索引擎也是會遵循這個規(guī)則的，現(xiàn)在百度搜索引擎對于robots的態(tài)度是，依然會抓取，但是不會保留百度快照。其他搜索引擎基本也是同樣的。

在百度百科里面有這么一條：robots協(xié)議并不是一個規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。

設(shè)置robots禁止抓取主要是基于兩個原因：第一個是新站調(diào)試期間，不想讓搜索引擎抓?。坏诙€就是網(wǎng)站下某些目錄頁面，不想被搜索引擎抓取。對于第一種，如果完全不想讓搜索引擎抓取，你建議在本地測試，或者是采用其他的域名綁定線上測試，測試沒有問題之后再綁定目標(biāo)域名。至于第二種，其實是沒有辦法的，因為如果搜索引擎不按照robots規(guī)則，那我們似乎也沒有什么好的辦法阻止，如果搜索引擎收錄了這些限制抓取的頁面，只能去投訴快照了。

但是大家也要注意，搜索引擎抓取robots文件限制的頁面，這對于網(wǎng)站來說并不會造成很大的影響。原則上說這不會浪費(fèi)抓取份額，除了網(wǎng)站首頁以后，也很少發(fā)現(xiàn)會收錄robots限制抓取的內(nèi)頁。所以，大家也不要太過擔(dān)心，搜索引擎想抓就讓它去抓，如果收錄了，就去投訴申請刪除。

另外有朋友擔(dān)心安全的問題，搜索引擎蜘蛛只是一個工具，它本身是沒有惡意的，只是會按照規(guī)則去工作。大家也不要把搜索引擎想得那么壞，如果網(wǎng)站沒有敏感的內(nèi)容，在不影響到網(wǎng)站優(yōu)化的情況下，讓蜘蛛去抓取也沒有什么損失。大家莫要驚慌哦！

關(guān)于為什么robots禁止抓取了但搜索引擎還會抓取的問題，本文就簡單的說這么多?？傊畞碚f，理論上搜索引擎還是會遵循robots規(guī)則的，不會胡亂收錄這些禁止收錄的頁面。