經(jīng)發(fā)現(xiàn),雖然wget遵循 robots.txt 規(guī)則,但是那個還是可以繞過去,現(xiàn)在把我自己使用的屏蔽方法分享給大家:成都服務器托管
隴川網(wǎng)站制作公司哪家好,找成都創(chuàng)新互聯(lián)公司!從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、成都響應式網(wǎng)站建設公司等網(wǎng)站項目制作,到程序開發(fā),運營維護。成都創(chuàng)新互聯(lián)公司從2013年成立到現(xiàn)在10年的時間,我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗,來保證我們的工作的順利進行。專注于網(wǎng)站建設就選成都創(chuàng)新互聯(lián)公司。1. 屏蔽下載任何文件
.htaccess
1 2 3 4 5 6 | SetEnvIfNoCase User-Agent "^wget" bad_bot
Order Allow,Deny Allow from all Deny from env=bad_bot
|
2. 屏蔽下載部分文件
.htaccess
1 2 3 4 5 6 7 8 | SetEnvIfNoCase User-Agent "^Wget" bad_bot SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
Order Allow,Deny Allow from all Deny from env=bad_bot
|