SEO優(yōu)化中很多細(xì)節(jié)容易被人忽略，比方說(shuō)robots文件。如果網(wǎng)站的robots協(xié)議文件禁止了搜索引擎蜘蛛，那么無(wú)論你怎么優(yōu)化都不會(huì)被收錄。

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)六盤水免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了近1000家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

有時(shí)候不希望搜索引擎抓取某些內(nèi)容可以寫robots.txt文件放到根目錄，按理蜘蛛會(huì)首先讀取這個(gè)文件，按照robots協(xié)議抓取相應(yīng)的內(nèi)容。

但很多時(shí)候搜索引擎抓取收錄了你 robots.txt 不允許抓取的內(nèi)容，不是因?yàn)闄C(jī)器人不遵守，而是從抓取到索引到展現(xiàn)這個(gè)過(guò)程需要一段時(shí)間，當(dāng)搜索引擎已經(jīng)抓取了，你才更新，那么之前抓取的是不會(huì)那么快刪掉的，刪除周期并不規(guī)律，一般是算法更新后生效的情況多些。但是許多站長(zhǎng)們發(fā)現(xiàn)，蜘蛛并不太遵守這個(gè)協(xié)議。

下面說(shuō)下幾個(gè)新手可能會(huì)需要的信息。

1、robots.txt 怎么寫？

各大搜索引擎的站長(zhǎng)平臺(tái)（英文叫 webmasters ）都有詳細(xì)說(shuō)明，也有生成工具。

2、怎樣確定 robots.txt 有效？

站長(zhǎng)平臺(tái)都有抓取 robots.txt 的工具，也會(huì)有“抓取工具”來(lái)確認(rèn)某個(gè)頁(yè)面是不是可以正確抓取。

3、怎樣通知搜索引擎 robots.txt 已更新？

和上面的一樣，通過(guò)站長(zhǎng)平臺(tái)的抓取工具重新抓?。ㄓ械氖恰案隆保┘纯?。

4、讓搜索引擎抓取了不應(yīng)該抓取的內(nèi)容怎么辦？

5、整站禁止抓取，如何操作更有效？

有的搜索引擎索引是不遵守 robots.txt 的，只有在展現(xiàn)的時(shí)候遵守，也就是說(shuō)，就算你 robots.txt 寫明了禁止抓取，你會(huì)發(fā)現(xiàn)還是有機(jī)器人來(lái)爬。

所以如果是大目錄或者是整站禁止抓取，建議在服務(wù)器軟件（如 nginx）的代碼段中直接判斷搜索引擎 UA 并返回錯(cuò)誤代碼。這樣一方面可以減輕服務(wù)器壓力，一方面可以真正禁止抓取。