本文目錄一覽

• 1，robotstxt文件放在哪里
• 2，如何將robotstxt文件放在網(wǎng)站根目錄中
• 3，Robotstxt 文件應(yīng)放在哪里
• 4，robotstxt應(yīng)該放在什么地方
• 5，robotstxt在哪

1，robotstxt文件放在哪里

請(qǐng)問一個(gè)空間的根目錄下面有2個(gè)網(wǎng)站，怎么寫robot文件www.cylvhua.com 創(chuàng)藝綠化

我覺的很奇怪為什么我把我的robots.txt文件放在根目錄卻打開頁面卻是空的呢？

robots.txt放在網(wǎng)站根目錄下，里面寫上你要屏蔽的蜘蛛和目錄或者頁面文件等等。

{0}

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)建站！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了湟中免費(fèi)建站歡迎大家使用！

2，如何將robotstxt文件放在網(wǎng)站根目錄中

robots.txt是控制搜索蜘蛛是否收錄網(wǎng)站內(nèi)容的。根目錄，你網(wǎng)站首頁放的目錄就是你網(wǎng)站的根目錄。

ftp默認(rèn)進(jìn)去的并不是網(wǎng)站根目錄，一般的服務(wù)器會(huì)有www這個(gè)目錄，這個(gè)目錄下存放著所有的網(wǎng)站程序文件，這個(gè)才是網(wǎng)站的根目錄或者說將robots.txt文件放在你的網(wǎng)站首頁文件同一個(gè)目錄下，網(wǎng)站首頁文件一般是index、default命名的

{1}

3，Robotstxt 文件應(yīng)放在哪里

Anny說的不錯(cuò)，是放在根目錄，蜘蛛進(jìn)入網(wǎng)站是進(jìn)入網(wǎng)站的根目錄，根據(jù)根目錄的結(jié)構(gòu)來爬取，所以這就體現(xiàn)了首頁的重要性，同樣的道理，robots.txt是一個(gè)蜘蛛的協(xié)議，蜘蛛到一個(gè)網(wǎng)站之后，第一個(gè)就會(huì)看一下有哪些是可以爬取的，哪些是禁止爬取的！所以放在根目錄是無可厚非的！

必須根目錄下。

放到ftp的根目錄下、

{2}

4，robotstxt應(yīng)該放在什么地方

您好樓主：robots.txt是要放到根目錄下面的。所謂的根目錄就是你的網(wǎng)站程序所在的那個(gè)目錄，一般的根目錄貌似都是個(gè)叫WEB或者www文件夾robots.txt文件必須駐留在域的根目錄，并且必須命名為“robots.txt”。位于子目錄中的robots.txt文件無效，因?yàn)槁纹髦辉谟虻母夸涍@個(gè)文件。例如，http://www.baidu.com/robots.txt是有效位置。但是，http://www.baidu.com/mysite/robots.txt不是。如果您沒有訪問域的根目錄，可以使用限制訪問robots元標(biāo)記。

根目錄

5，robotstxt在哪

放在網(wǎng)站的根目錄，是沒有錯(cuò)的。但也需要考慮網(wǎng)站的實(shí)際問題，像不是獨(dú)立ip的服務(wù)器，多個(gè)網(wǎng)站放在同一服務(wù)器下，本身是放在服務(wù)器的多文件夾里，所以為每個(gè)域名設(shè)置robots的時(shí)候，是放在相對(duì)的“根目錄”下的。

所謂的根目錄就是你的網(wǎng)站程序所在的那個(gè)目錄，一般的根目錄貌似都是個(gè)叫web或者www文件夾robots.txt文件必須駐留在域的根目錄，并且必須命名為“robots.txt”。位于子目錄中的robots.txt文件無效，因?yàn)槁纹髦辉谟虻母夸涍@個(gè)文件。例如，http://www.baidu.com/robots.txt是有效位置。但是，http://www.baidu.com/mysite/robots.txt不是。