Robots.txt協(xié)議對(duì)網(wǎng)站優(yōu)化有哪些影響,相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策,為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法,通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。
達(dá)孜ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景,ssl證書(shū)未來(lái)市場(chǎng)廣闊!成為成都創(chuàng)新互聯(lián)的ssl證書(shū)銷售渠道,可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:13518219792(備注:SSL證書(shū)合作)期待與您的合作!網(wǎng)站Robots.txt文件,是網(wǎng)站與搜索引擎交流的通用協(xié)議,通過(guò)Robots協(xié)議的設(shè)置告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取:一方面可以做網(wǎng)站安全的防護(hù),更重要的是用來(lái)做優(yōu)化,減少無(wú)效頁(yè)面的收錄,提升站點(diǎn)的排名效果。
但是在實(shí)際的操作中,絕大多數(shù)的網(wǎng)站,在其撰寫(xiě)上都存在或多或少的欠缺,甚至由于技術(shù)性的錯(cuò)誤撰寫(xiě),還會(huì)導(dǎo)致網(wǎng)站降權(quán)、不收錄、被K等一系列問(wèn)題的出現(xiàn)。對(duì)于這一點(diǎn),在對(duì)客戶的SEO診斷過(guò)程中,會(huì)經(jīng)常遇到,可以算是很多站點(diǎn)的通病。今天就是來(lái)做一個(gè)分享:關(guān)于robots.txt協(xié)議,你寫(xiě)對(duì)了嗎?
一:設(shè)置成Allow全站點(diǎn)抓取
百度收錄的越多,網(wǎng)站的排名越高?這是絕大多數(shù)站長(zhǎng)的認(rèn)為,事實(shí)上也是如此。但是也并非絕對(duì)成立:低質(zhì)量的頁(yè)面收錄,會(huì)降低網(wǎng)站的排名效果,這一點(diǎn)你考慮到了嗎?
如果你的網(wǎng)站結(jié)構(gòu)不是非常的清晰,以及不存在多余的“功能”頁(yè)面,不建議對(duì)網(wǎng)站開(kāi)全站點(diǎn)的抓取,事實(shí)上,在A5的SEO診斷中,只遇到極少數(shù)的一部分網(wǎng)站,可以真正的做到全站點(diǎn)都允許抓取,而不做屏蔽。隨著功能的豐富,要做到允許全站點(diǎn)抓取,也不太可能。
二:什么樣的頁(yè)面不建議抓取
對(duì)于網(wǎng)站功能上有用的目錄,有用的頁(yè)面,在用戶體驗(yàn)上可以得到更好的提升。但是搜索引擎方面來(lái)講,就會(huì)造成:服務(wù)器負(fù)擔(dān),比如:大量的翻頁(yè)評(píng)論,對(duì)優(yōu)化上則沒(méi)有任何的價(jià)值。
除此外還包含如:網(wǎng)站做了偽靜態(tài)處理后,那么就要將動(dòng)態(tài)鏈接屏蔽掉,避免搜索引擎抓取。用戶登錄目錄、注冊(cè)目錄、無(wú)用的軟件下載目錄,如果是靜態(tài)類型的站點(diǎn),還要屏蔽掉動(dòng)態(tài)類型的鏈接Disallow: /*?* 為什么呢?我們舉個(gè)例子來(lái)看:
上面是某客戶網(wǎng)站發(fā)現(xiàn)的問(wèn)題,被百度收錄的原因是:有人惡意提交此類型的鏈接,但是網(wǎng)站本身又沒(méi)有做好防護(hù)。
三:撰寫(xiě)上的細(xì)節(jié)注意事項(xiàng)
方法上來(lái)講,絕大多數(shù)的站長(zhǎng)都明白,這里就不做多說(shuō)了,不明白的站長(zhǎng),可以上百度百科看一下。今天這里說(shuō)一些不常見(jiàn)的,可能是不少站長(zhǎng)的疑問(wèn)。
1、舉例:Disallow; /a 與Disallow: /a/的區(qū)別,很多站長(zhǎng)都見(jiàn)過(guò)這樣的問(wèn)題,為什么有的協(xié)議后加斜杠,有的不加斜杠呢?筆者今天要說(shuō)的是:如果不加斜杠,屏蔽的是以a字母開(kāi)頭的所有目錄和頁(yè)面,而后者代表的是屏蔽當(dāng)前目錄的所有頁(yè)面和子目錄的抓取。
通常來(lái)講,我們往往選擇后者更多一些,因?yàn)槎x范圍越大,容易造成“誤殺”。
2、JS文件、CSS需要屏蔽嗎?不少網(wǎng)站都做了這個(gè)屏蔽,但是筆者要說(shuō)的是:google站長(zhǎng)工具明確的說(shuō)明:封禁css與js調(diào)用,可能會(huì)影響頁(yè)面質(zhì)量的判斷,從而影響排名。而對(duì)此,我們做了一些了解,百度方面同樣會(huì)有一定影響。
3、已經(jīng)刪除的目錄屏蔽,很多站長(zhǎng)往往刪除一些目錄后,怕出現(xiàn)404問(wèn)題,而進(jìn)行了屏蔽,禁止搜索引擎再抓取這樣的鏈接。事實(shí)上,這樣做真的好嗎?即使你屏蔽掉了,如果之前的目錄存在問(wèn)題,那么沒(méi)有被蜘蛛從庫(kù)中剔除,同樣會(huì)影響到網(wǎng)站。
建議很好的方式是:將對(duì)應(yīng)的主要錯(cuò)誤頁(yè)面整理出來(lái),做死鏈接提交,以及自定義404頁(yè)面的處理,徹底的解決問(wèn)題,而不是逃避問(wèn)題。
看完上述內(nèi)容,你們掌握Robots.txt協(xié)議對(duì)網(wǎng)站優(yōu)化有哪些影響的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!