你要采集的博客文章數(shù)量大不大?
“專業(yè)、務(wù)實(shí)、高效、創(chuàng)新、把客戶的事當(dāng)成自己的事”是我們每一個(gè)人一直以來堅(jiān)持追求的企業(yè)文化。 成都創(chuàng)新互聯(lián)是您可以信賴的網(wǎng)站建設(shè)服務(wù)商、專業(yè)的互聯(lián)網(wǎng)服務(wù)提供商! 專注于成都網(wǎng)站制作、做網(wǎng)站、外貿(mào)營銷網(wǎng)站建設(shè)、軟件開發(fā)、設(shè)計(jì)服務(wù)業(yè)務(wù)。我們始終堅(jiān)持以客戶需求為導(dǎo)向,結(jié)合用戶體驗(yàn)與視覺傳達(dá),提供有針對(duì)性的項(xiàng)目解決方案,提供專業(yè)性的建議,創(chuàng)新互聯(lián)建站將不斷地超越自我,追逐市場(chǎng),引領(lǐng)市場(chǎng)!
采集完以后是上傳到自己的博客還是做其他用途。
如果簡(jiǎn)單地要求,一般的采集器都可以的。要是復(fù)雜的,或者量大的,適合用專業(yè)的采集比如數(shù)據(jù)農(nóng)場(chǎng)
1
首先講一講網(wǎng)站結(jié)構(gòu),通常網(wǎng)站結(jié)構(gòu)為樹形結(jié)構(gòu),一個(gè)網(wǎng)站主要包以下幾種頁面:首頁、欄目頁、文章頁,其結(jié)構(gòu)如下圖。
其次講一講火車頭采集原理,火車頭的運(yùn)行需要一套規(guī)則來指定該如何采集所需數(shù)據(jù),即需要編寫火車頭采集規(guī)則,編寫采集規(guī)則也是新手最頭痛的問題。
火車頭采集器通常通過網(wǎng)址抓取網(wǎng)站返回的源代碼,然后在源代碼中提取需要的信息。因此,采集數(shù)據(jù)需要先采集網(wǎng)址,然后再采集數(shù)據(jù)。
2
下面開始編寫采集規(guī)則:
運(yùn)行LocoyPlatform.exe
3
在左側(cè)“任務(wù)列表樹”選擇一個(gè)分組點(diǎn)擊右鍵,選擇“新建任務(wù)”彈出新建任務(wù)對(duì)話框。填寫任務(wù)名,網(wǎng)站編碼一般選擇自動(dòng)即可。
添加起始網(wǎng)址
填寫“第一步:采集網(wǎng)址規(guī)則”這里需要按照網(wǎng)站的樹形結(jié)構(gòu)逐級(jí)獲取下一級(jí)結(jié)構(gòu)的網(wǎng)址,直至獲取到內(nèi)容頁的網(wǎng)址。先填寫起始網(wǎng)址,通常為目標(biāo)站首頁地址。點(diǎn)擊“添加”,在單條網(wǎng)址處填上火車頭博客的首頁地址,然后依次點(diǎn)擊“添加” -“完成”。
編寫“多級(jí)網(wǎng)址獲取”規(guī)則
這里需要先在起始地址頁面找到所有需要采集的欄目頁的代碼區(qū)域,先查看起始頁地址的源碼,找到如圖所示代碼區(qū)域:
點(diǎn)擊右側(cè)“添加”按鈕打開“添加多級(jí)網(wǎng)址采集規(guī)則”,選擇“從頁面自動(dòng)分析得到地址鏈接”單選按鈕,在下面“從該選定區(qū)域中提取網(wǎng)址”,“從”(左側(cè))文本框填上欄目地址代碼區(qū)域開始之前的標(biāo)志性代碼(要保證其在該頁的唯一性),“到”右側(cè)文本框填上欄目地址代碼區(qū)域結(jié)束之后的標(biāo)志性代碼,在“結(jié)果網(wǎng)址過濾”的“必須包含”和“不得包含”文本框填上相應(yīng)代碼,如果該區(qū)域沒有多余的鏈接不需要過濾,可以不填,這里的欄目頁網(wǎng)址必須包含“category-”。然后點(diǎn)擊“保存”返回。
現(xiàn)在需要獲取內(nèi)容頁的地址。先打開欄目頁查看源碼,查找內(nèi)容頁地址存在的區(qū)域及地址規(guī)律。按照上一步的方法先填寫內(nèi)容頁所在區(qū)域的起始和結(jié)束標(biāo)志性代碼,然后分析這個(gè)區(qū)域中包含的鏈接與我們說需要的內(nèi)容頁地址鏈接規(guī)律,添加過濾代碼。這里起始代碼為“!--顯示--”,結(jié)束代碼為“div class="page" style="float:right"”過濾代碼為必須包含“read-”不得包含“#”。如圖:
需要注意的是這里文章比較多會(huì)有很多分頁,所以需要填寫“列表分頁獲取”規(guī)則。通常只需要指定分頁代碼的區(qū)域,如有必要可以填寫“組合生成列表頁分頁”規(guī)則。這里的列表分頁規(guī)則其實(shí)代碼為“l(fā)i class="pageNumber"”,結(jié)束代碼為“title="下一頁"”。如果勾選“自動(dòng)識(shí)別分頁”的話,會(huì)自動(dòng)提取a標(biāo)簽的href屬性,如果不勾選自動(dòng)識(shí)別的話,需要填寫組合生成列表頁分頁”規(guī)則。
然后保存返回,可以通過“測(cè)試網(wǎng)址采集”來測(cè)試規(guī)則是否正確,不正確可以返回修改規(guī)則,正確的話可以開始編寫“第二步采集內(nèi)容規(guī)則”。
編寫“第二步采集內(nèi)容規(guī)則”
先打開內(nèi)容頁以及內(nèi)容頁的源碼,找到需要提取的信息的前后代碼特征。以提取標(biāo)題和內(nèi)容為例。首先復(fù)制文章標(biāo)題,然后在源碼中查看該標(biāo)題出現(xiàn)的幾處地方,找一處前后代碼在每一篇文章都一樣的地方,該例共出現(xiàn)了3處,第二處的代碼沒有其他干擾代碼。點(diǎn)擊“添加”,標(biāo)簽名填“標(biāo)題”,提取數(shù)據(jù)方式選擇前后截取,前后代碼分別為“h1 class="ContentTitle"strong”和“/strong/h1”。如果采集的內(nèi)容需要作進(jìn)一步處理(如替換刪除編碼轉(zhuǎn)換過濾html等),在下方“數(shù)據(jù)處理”點(diǎn)擊添加填寫相應(yīng)規(guī)則。
再添加一個(gè)標(biāo)簽,標(biāo)簽名為“內(nèi)容”,按照上述方法填寫內(nèi)容的前后代碼片段,需要注意的是,前后代碼片段最好不要出現(xiàn)不完整的標(biāo)簽(如:“div class="Content-body"” 應(yīng)該寫作“div class="Content-body"”,一個(gè)完整的標(biāo)簽應(yīng)該是以“”開始,以“”結(jié)束,如果之間的內(nèi)容在各個(gè)內(nèi)容頁有一部分不一樣,將不一樣的部分用(*)代替即可),否則提取的內(nèi)容會(huì)包含部分不完整的標(biāo)簽。通常正文包含的HTML會(huì)比較多,可以添加HTML過濾功能,建議僅保留段落(p)、圖片(img)、換行(br)等標(biāo)簽。
測(cè)試內(nèi)容采集規(guī)則
保存規(guī)則后返回采集內(nèi)容規(guī)則頁面,在右側(cè)“規(guī)則測(cè)試”的典型頁面文本框填上一個(gè)內(nèi)容頁的地址,然后點(diǎn)擊測(cè)試,如果下面顯示到的內(nèi)容符合預(yù)期說明可以了,如果未獲取到內(nèi)容或者獲取到內(nèi)容不正確,返回檢查并修改規(guī)則。
開始采集
選擇要采集的任務(wù)規(guī)則,勾選“采網(wǎng)址”和“采內(nèi)容”復(fù)選框,點(diǎn)擊工具欄“開始”按鈕。
后續(xù)工作
采集到的數(shù)據(jù)保存在數(shù)據(jù)庫,可以通過在任務(wù)名上點(diǎn)右鍵,選擇“打開DATA下任務(wù)文件夾”打開數(shù)據(jù)庫所在位置,該數(shù)據(jù)庫可以通過ACCESS打開和編輯。如果想要重新采集,需要通過右鍵選擇“清空該任務(wù)網(wǎng)址庫”和“清空任務(wù)所有采集數(shù)據(jù)”。
你要檢查下數(shù)據(jù)庫里面是否有內(nèi)容了
我博客 火車頭博客 里面有一篇文章介紹解決這個(gè)問題的辦法
字段說明:(標(biāo)有*的為必填字段,綠色值為默認(rèn)值)
*log_CateID:文章的分類ID
*log_Title:文章標(biāo)題
*log_Content:文章內(nèi)容
log_Tag:文章標(biāo)簽ID,格式為{標(biāo)簽ID},多個(gè)為{1}{2}{3}
log_Status:文章的狀態(tài),0為正常發(fā)布,1為草稿,2為審核
log_Type:文章的類別,0為文章,1為頁面
log_IsTop:文章是否置頂,0是不置頂,1是置頂
log_Intro:文章摘要,默認(rèn)是50字符
log_PostTime:文章發(fā)布時(shí)間,為UNIX時(shí)間戳,默認(rèn)當(dāng)前時(shí)間
log_ViewNums:文章瀏覽數(shù),默認(rèn)為0次
發(fā)表地址后綴:zb_users/plugin/QeeZer_Locoy/LocoyPost.php?locoy_key=火車頭自動(dòng)發(fā)布密令
火車頭采集器(V8.6為例)設(shè)置部分:
主要就是發(fā)布地址、post字段設(shè)置等,