參考百度站長平臺。
成都創(chuàng)新互聯(lián)公司主要從事成都做網(wǎng)站、成都網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)蒙山,10余年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):028-86922220
有好幾種途徑
1)主動提交
2)主動推送
3)站點地圖
4)手動提交
最智能的就是主動提交,站長工具后臺有對應(yīng)的api使用說明。需要結(jié)合定時任務(wù)進行。大致就是你網(wǎng)站上的新聞,會自動告訴百度。
更進一步的工作就是,你網(wǎng)站上發(fā)表文章的保存過程,你修改下程序。直接結(jié)合上推送的api,這樣你后臺發(fā)表完的每一篇文章,在他生成地址的一瞬間,就主動告訴百度了。
主動推送,這個是js實現(xiàn)的,也在百度站長平臺有對應(yīng)的js代碼。參考百度站長工具的使用說明,安裝到網(wǎng)站就好了。
這個功能,他的原理是這樣的,你發(fā)表的新聞,只要有人打開。就會主動百度一下,我這里有一個網(wǎng)頁,你可以來看看啊。
站點地圖,這個是一個比較慢的途徑。但是也是一種解決思路。需要配合一定的定時任務(wù),自動更新站點地圖,也成為sitemap。
手動提交,這個相信都知道了,就是你拿到網(wǎng)址,一條條給百度輸入進去,讓蜘蛛來爬取。
這個手動提交,在站長平臺后臺也可以批量提取。
拋開以上的問題,再有利于網(wǎng)站收錄的方法,就是優(yōu)化站內(nèi)的鏈接關(guān)系、調(diào)整關(guān)鍵詞布局、重點頁面的權(quán)重幾種等很多細節(jié)的工作。
有其他問題可以隨時交流。
欄目生成選項設(shè)置-把日期目錄設(shè)置空
另外方法:
帝國CMS默認的URL結(jié)構(gòu)帶有日期,例如/news/sports/2019-9-14/1.html,這樣的url結(jié)構(gòu)目錄層次較深,不太利于seo優(yōu)化,即使對蜘蛛影響很小,但我們也不愿意。當(dāng)我們修改終極欄目中生成選項時,發(fā)現(xiàn)即使修改內(nèi)容頁文件命名形式為不設(shè)置目錄,刷新頁面后在前臺卻不起使用。
原來已經(jīng)設(shè)置了生成方式,所以以前添加的文件已經(jīng)寫入數(shù)據(jù)庫需要執(zhí)行sql命令,不過在這里感覺也像是帝國cms的一個bug,即使在帝國cms6.5版本中一樣是這種情況,不多說了,下面說一下解決方法,執(zhí)行以下sql命令即可:
update phome_ecms_news set newspath='';
具體可在后臺-系統(tǒng)設(shè)置-備份與恢復(fù)數(shù)據(jù)-執(zhí)行sql語句中來執(zhí)行sql命令,如果主機不支持的話,可以到phpmyadmin中來執(zhí)行sql語句,最好把這句執(zhí)行命令保存下來,以便下次在創(chuàng)建欄目時沒有注意內(nèi)容頁文件命名形式時使用。
簡單理解,百度蜘蛛又名百度爬蟲,主要的工作職能是抓取互聯(lián)網(wǎng)上現(xiàn)有的URL,并對頁面質(zhì)量進行評估,給出基礎(chǔ)性的判斷。
通常百度蜘蛛抓取規(guī)則是:
種子URL-待抓取頁面-提取URL-過濾重復(fù)URL-解析網(wǎng)頁鏈接特征-進入鏈接總庫-等待提取。
1、如何識別百度蜘蛛
快速識別百度蜘蛛的方式有兩種:
①網(wǎng)站ahref=網(wǎng)址蜘蛛日志分析,可以通過識別百度蜘蛛UA,來判斷蜘蛛來訪記錄,相對便捷的方式是利用ahref=網(wǎng)址SEO軟件/a去自動識別。關(guān)于百度UA的識別,你也可以查看官方文檔:ahref=網(wǎng)址
②CMS程序插件,自動嵌入識別百度爬蟲,當(dāng)蜘蛛來訪的時候,它會記錄相關(guān)訪問軌跡。
2、百度蜘蛛收錄網(wǎng)站規(guī)則有那些?
并不是每一個網(wǎng)站的蜘蛛來爬尋抓取就會被收錄的,這樣就會形成一個搜索引擎主要流程,這個流程主要分為,抓取、篩選、對比、索引最后就是釋放,也技術(shù)展現(xiàn)出來的頁面。
抓?。号老x是根據(jù)網(wǎng)站URL連接來爬尋的,它的主要目的是抓取網(wǎng)站上所以文字連接,一層一層有規(guī)則的爬尋。
篩選:當(dāng)抓取完成后,篩選這個步驟主要是篩選出垃圾文章,比如翻譯、近義詞替換、偽原創(chuàng)文章等,搜索引擎都能夠識別出來,而是通過這一步驟識別。
對比:對比主要是實行百度的星火計劃,保持文章的原創(chuàng)度。通常情況下,經(jīng)過對比的步驟的時候,搜索引擎會對你站點進行下載,一來對比,二來創(chuàng)建快照,所以搜索引擎蜘蛛已經(jīng)訪問你的網(wǎng)站,所以網(wǎng)站日志中會有百度的IP。
索引:通過確定你網(wǎng)站沒有問題的時候,才會對你網(wǎng)站創(chuàng)建索引,如果創(chuàng)建索引了,這也說明你的站點被收錄了,有時候我們在百度搜索還是不出來,可能原因是還沒有被釋放出來,需要等待。
3、關(guān)于百度爬蟲一些常見問題:
①如何提高百度抓取頻率,抓取頻率暴漲是什么原因
早期,由于收錄相對困難,大家非常重視百度抓取頻率,但隨著百度戰(zhàn)略方向的調(diào)整,從目前來看,我們并不需要刻意追求抓取頻率的提升,當(dāng)然影響抓取頻次的因素主要包括:網(wǎng)站速度、安全性、內(nèi)容質(zhì)量、社會影響力等內(nèi)容。
如果你發(fā)現(xiàn)站點抓取頻率突然暴漲,可能是因為:存在鏈接陷阱,蜘蛛不能很好抓取頁面,或者內(nèi)容質(zhì)量過低,需要從新抓取,也可能是網(wǎng)站不穩(wěn)定,遭遇負面SEO攻擊。
②如何判斷,百度蜘蛛是否正常抓取
很多站長新站上線,總是所發(fā)布的文章不收錄,于是擔(dān)心百度爬蟲是否可以正常抓取,這里官方提供兩個簡單的工具:
百度抓取診斷:
百度Robots.txt檢測:
你可以根據(jù)這兩個頁面,檢測網(wǎng)頁的連通性,以及是否屏蔽了百度蜘蛛抓取。
③百度爬蟲持續(xù)抓取,為什么百度快照不更新
快照長時間不更新并沒有代表任何問題,你只需要關(guān)注是否網(wǎng)站流量突然下降,如果各方面指標都正常,蜘蛛頻繁來訪,只能代表你的頁面質(zhì)量較高,外部鏈接非常理想。
④網(wǎng)站防止侵權(quán),禁止右鍵,百度蜘蛛是否可以識別內(nèi)容
如果你在查看網(wǎng)頁源代碼的時候,可以很好的看到頁面內(nèi)容,理論上百度蜘蛛就是可以正常抓取頁面的,這個你同樣可以利用百度抓取診斷去解析一下看看。
⑤百度蜘蛛,真的有降權(quán)蜘蛛嗎?
早期,很多SEO人員喜歡分析百度蜘蛛IP段,實際上官方已經(jīng)明確表示,并沒有說明哪些蜘蛛的爬行代表降權(quán),所以這個問題不攻自破。
⑥屏蔽百度蜘蛛,還會收錄嗎?
常規(guī)來說屏蔽百度蜘蛛是沒辦法收錄,雖然會收錄首頁,但是內(nèi)頁卻不能收錄的,就好比“淘寶”基本上都是屏蔽了百度蜘蛛,只有首頁但是依然排名很好。
總結(jié):很多市面上就會出現(xiàn)一個蜘蛛池這樣的字眼呈現(xiàn),這是一種并不好的一種變現(xiàn)的方式,搜外seo并不建議大家使用,上述僅供大家參考。