這篇文章主要講解了“禁止搜索引擎收錄網(wǎng)站內(nèi)容的方法有哪些”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“禁止搜索引擎收錄網(wǎng)站內(nèi)容的方法有哪些”吧！

創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都做網(wǎng)站、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的望江網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

第一種、robots.txt方法

搜索引擎默認(rèn)的遵守robots.txt協(xié)議，創(chuàng)建robots.txt文本文件放至網(wǎng)站根目錄下，編輯代碼如下:

User-agent: *
Disallow: /

通過以上代碼，即可告訴搜索引擎不要抓取采取收錄本網(wǎng)站，注意慎用如上代碼：這將禁止所有搜索引擎訪問網(wǎng)站的任何部分。

如何只禁止百度搜索引擎收錄抓取網(wǎng)頁

1、編輯robots.txt文件，設(shè)計(jì)標(biāo)記為:

User-agent: Baiduspider
Disallow: /

以上robots文件將實(shí)現(xiàn)禁止所有來自百度的抓取。

這里說一下百度的user-agent，Baiduspider的user-agent是什么？
百度各個(gè)產(chǎn)品使用不同的user-agent：
產(chǎn)品名稱 對(duì)應(yīng)user-agent
無線搜索 Baiduspider
圖片搜索 Baiduspider-image
視頻搜索 Baiduspider-video
新聞搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度聯(lián)盟 Baiduspider-cpro
商務(wù)搜索 Baiduspider-ads
網(wǎng)頁以及其他搜索 Baiduspider

你可以根據(jù)各產(chǎn)品不同的user-agent設(shè)置不同的抓取規(guī)則，以下robots實(shí)現(xiàn)禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

請(qǐng)注意：Baiduspider-cpro和Baiduspider-ads抓取的網(wǎng)頁并不會(huì)建入索引，只是執(zhí)行與客戶約定的操作，所以不遵守robots協(xié)議，這個(gè)就需要和百度的人聯(lián)系才能解決了。

如何只禁止Google搜索引擎收錄抓取網(wǎng)頁，方法如下：

編輯robots.txt文件，設(shè)計(jì)標(biāo)記為:

User-agent: googlebot
Disallow: /

編輯robots.txt文件

搜索引擎默認(rèn)的遵守robots.txt協(xié)議

robots.txt文件放在網(wǎng)站根目錄下。

舉例來說，當(dāng)搜索引擎訪問一個(gè)網(wǎng)站時(shí)，首先會(huì)檢查該網(wǎng)站根目錄中是否存在robots.txt這個(gè)文件，如果搜索引擎找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件里的內(nèi)容，來確定它抓取的權(quán)限的范圍。

User-agent:
該項(xiàng)的值用于描述搜索引擎robot的名字，在”robots.txt”文件中，如果有多條User-agent記錄說明有多個(gè)robot會(huì)受到該協(xié)議的限制，對(duì)該文件來說，至少要有一條User-agent記錄。如果該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效，在”robots.txt”文件中，”User-agent:*”這樣的記錄只能有一條。

Disallow:
該項(xiàng)的值用于描述不希望被訪問到的一個(gè)URL，這個(gè)URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會(huì)被robot訪問到。例如”Disallow:/help”對(duì)/help.html 和/help/index.html都不允許搜索引擎訪問，而”Disallow:/help/”則允許robot訪問/help.html，而不能訪問/help/index.html。任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問，在”/robots.txt”文件中，至少要有一條Disallow記錄。如果”/robots.txt”是一個(gè)空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開放的。

下面舉幾個(gè)robots.txt用法的例子：

User-agent: *
Disallow: /

禁止所有搜索引擎訪問網(wǎng)站的所有部分

User-agent: Baiduspider
Disallow: /

禁止百度收錄全站
User-agent: Googlebot
Disallow: /

禁止Google收錄全站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止除Google外的一切搜索引擎收錄全站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
禁止除百度外的一切搜索引擎收錄全站

User-agent: *
Disallow: /css/
Disallow: /admin/
禁止所有搜索引擎訪問某個(gè)目錄
（例如禁止根目錄下的admin和css）

第二種、網(wǎng)頁代碼方法

在網(wǎng)站首頁代碼與之間，加入代碼，此標(biāo)記禁止搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照。
在網(wǎng)站首頁代碼與之間，加入即可禁止百度搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照。
在網(wǎng)站首頁代碼與之間，加入即可禁止谷歌搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照。

另外當(dāng)我們的需求很怪異的時(shí)候，比如下面這幾種情況:

1. 網(wǎng)站已經(jīng)加了robots.txt，還能在百度搜索出來？

因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫的更新需要時(shí)間。雖然Baiduspider已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁，但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息，可能需要數(shù)月時(shí)間才會(huì)清除。另外也請(qǐng)檢查您的robots配置是否正確。如果您的拒絕被收錄需求非常急迫，也可以通過投訴平臺(tái)反饋請(qǐng)求處理。

2. 希望網(wǎng)站內(nèi)容被百度索引但不被保存快照，我該怎么做？

Baiduspider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁meta的設(shè)置，使百度顯示只對(duì)該網(wǎng)頁建索引，但并不在搜索結(jié)果中顯示該網(wǎng)頁的快照。和robots的更新一樣，因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫的更新需要時(shí)間，所以雖然您已經(jīng)在網(wǎng)頁中通過meta禁止了百度在搜索結(jié)果中顯示該網(wǎng)頁的快照，但百度搜索引擎數(shù)據(jù)庫中如果已經(jīng)建立了網(wǎng)頁索引信息，可能需要二至四周才會(huì)在線上生效。

希望被百度索引，但是不保存網(wǎng)站快照，如下代碼解決：

如果要禁止所有的搜索引擎保存你網(wǎng)頁的快照，那么代碼就是下面的：

常用的一些代碼組合：

：可以抓取本頁，而且可以順著本頁繼續(xù)索引別的鏈接
：不許抓取本頁，但是可以順著本頁抓取索引別的鏈接
：可以抓取本頁，但是不許順著本頁抓取索引別的鏈接
：不許抓取本頁，也不許順著本頁抓取索引別的鏈接

感謝各位的閱讀，以上就是“禁止搜索引擎收錄網(wǎng)站內(nèi)容的方法有哪些”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)禁止搜索引擎收錄網(wǎng)站內(nèi)容的方法有哪些這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！