seo優(yōu)化中的robots是啥?robots會(huì)影響seo優(yōu)化效果嗎?我們?cè)撊绾卫胷obots大化地優(yōu)化網(wǎng)站呢?今天，小編就從robots的定義出發(fā)，跟大家聊聊robots與seo優(yōu)化的聯(lián)系程度。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信平臺(tái)小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了懷安免費(fèi)建站歡迎大家使用！

1、seo優(yōu)化所說的robots是什么?

其實(shí)，robots是一個(gè)根目錄文件，是網(wǎng)站跟搜索引擎爬蟲程序之間的一個(gè)協(xié)議。主要功能是告訴搜索引擎，網(wǎng)站中哪些內(nèi)容可以抓取，哪些內(nèi)容不能抓取。

因此，搜索引擎在抓取頁面前，首先會(huì)檢測(cè)該網(wǎng)站有無robots文件，如果有蜘蛛就會(huì)根據(jù)該協(xié)議去抓取網(wǎng)頁;但若是沒有robots文件，就表示蜘蛛可以隨意抓取網(wǎng)站的任意頁面。

2、robots文件涉及的符號(hào)含義

①通配符*：代表所有搜索引擎蜘蛛的名稱

②User-agent：用于描述搜索引擎robot的名字

在"robots.txt"文件中，如果有多條User-agent記錄說明有多個(gè)robot會(huì)受到該協(xié)議的限制，對(duì)該文件來說，至少要有一條User-agent記錄。

③Disallow：用于描述不希望被訪問到的一個(gè)URL

這個(gè)URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會(huì)被robot訪問到。

④Allow： 用于描述希望被訪問的一組URL

與Disallow項(xiàng)相似，可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開頭的URL是允許robot訪問的。

網(wǎng)頁名稱：seo優(yōu)化中的robots是啥?關(guān)于robots文件涉及的符合介紹
本文鏈接：http://weahome.cn/article/cispjd.html