經(jīng)發(fā)現(xiàn),雖然wget遵循 robots.txt 規(guī)則,但是那個還是可以繞過去,現(xiàn)在56云小編把我自己使用的屏蔽方法分享給大家:
創(chuàng)新互聯(lián)主營察布查爾錫伯網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶App定制開發(fā),察布查爾錫伯h5成都微信小程序搭建,察布查爾錫伯網(wǎng)站營銷推廣歡迎察布查爾錫伯等地區(qū)企業(yè)咨詢.htaccess
SetEnvIfNoCase User-Agent "^wget" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
.htaccess
SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。