這篇文章將為大家詳細講解有關百度蜘蛛spider如何識別,文章內(nèi)容質(zhì)量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。
創(chuàng)新互聯(lián)長期為上1000家客戶提供的網(wǎng)站建設服務,團隊從業(yè)經(jīng)驗10年,關注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為商城企業(yè)提供專業(yè)的成都網(wǎng)站設計、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設公司,商城網(wǎng)站改版等技術服務。擁有10余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
經(jīng)常有開發(fā)者問百度蜘蛛是什么?最近百度蜘蛛來的太頻繁服務器抓爆了!最近百度蜘蛛都不來了怎么辦?還有很多站點想得到百度蜘蛛的IP段,想把IP加入白名單,但IP地址范圍動態(tài)變化不固定,我們無法對外公布。
如何才能識別正確的百度蜘蛛呢?正確識別百度蜘蛛的方法:
一、查看UA信息
如果UA信息不對,可以直接判斷為非百度搜索的蜘蛛。目前UA分為移動、PC、和小程序三個應用場景,這三個渠道UA分別如下:
二、雙向DNS解析認證
第一步:DNS反查IP
開發(fā)者通過對日志中訪問服務器的IP地址運行反向DNS查找,判斷某只spider是否來自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即為冒充。
根據(jù)平臺不同驗證方法不同,如linux/windows/os三種平臺下的驗證方法分別如下:
1).在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。
2).在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,來判斷是否來自Baiduspider的抓取。
3).在macos平臺下,您可以使用dig命令反解ip來判斷是否來自Baiduspider的抓取。打開命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,來判斷是否來自Baiduspider的抓取。
第二步:對域名運行正向DNS查找
對第一步中通過命令檢索到的域名運行正向DNS查找,驗證該域名與您日志中訪問服務器的原始IP地址是否一致,IP地址一致可確認spider來自百度搜索引擎,IP地址不一致即為冒充。
關于百度蜘蛛spider如何識別就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。