java爬蟲(chóng)抓取指定數(shù)據(jù)

根據(jù)java網(wǎng)絡(luò)編程相關(guān)的內(nèi)容，使用jdk提供的相關(guān)類(lèi)可以得到url對(duì)應(yīng)網(wǎng)頁(yè)的html頁(yè)面代碼。

超過(guò)十余年行業(yè)經(jīng)驗(yàn)，技術(shù)領(lǐng)先，服務(wù)至上的經(jīng)營(yíng)模式，全靠網(wǎng)絡(luò)和口碑獲得客戶(hù)，為自己降低成本，也就是為客戶(hù)降低成本。到目前業(yè)務(wù)范圍包括了：做網(wǎng)站、成都網(wǎng)站制作，成都網(wǎng)站推廣，成都網(wǎng)站優(yōu)化，整體網(wǎng)絡(luò)托管，成都微信小程序，微信開(kāi)發(fā)，app軟件開(kāi)發(fā)公司，同時(shí)也可以讓客戶(hù)的網(wǎng)站和網(wǎng)絡(luò)營(yíng)銷(xiāo)和我們一樣獲得訂單和生意！

針對(duì)得到的html代碼，通過(guò)使用正則表達(dá)式即可得到我們想要的內(nèi)容。

比如，我們?nèi)绻氲玫揭粋€(gè)網(wǎng)頁(yè)上所有包括“java”關(guān)鍵字的文本內(nèi)容，就可以逐行對(duì)網(wǎng)頁(yè)代碼進(jìn)行正則表達(dá)式的匹配。最后達(dá)到去除html標(biāo)簽和不相關(guān)的內(nèi)容，只得到包括“java”這個(gè)關(guān)鍵字的內(nèi)容的效果。

從網(wǎng)頁(yè)上爬取圖片的流程和爬取內(nèi)容的流程基本相同，但是爬取圖片的步驟會(huì)多一步。

需要先用img標(biāo)簽的正則表達(dá)式匹配獲取到img標(biāo)簽，再用src屬性的正則表達(dá)式獲取這個(gè)img標(biāo)簽中的src屬性的圖片url，然后再通過(guò)緩沖輸入流對(duì)象讀取到這個(gè)圖片url的圖片信息，配合文件輸出流將讀到的圖片信息寫(xiě)入到本地即可。

java爬蟲(chóng) 登陸qun.qq.com 然后獲取登錄后的頁(yè)面 求實(shí)現(xiàn)代碼 真的萬(wàn)分感謝

推薦大家使用神箭手云爬蟲(chóng)寫(xiě)爬蟲(chóng)，完全在云上編寫(xiě)和執(zhí)行爬蟲(chóng)，不需要配置任何開(kāi)發(fā)環(huán)境，快速開(kāi)發(fā)快速實(shí)現(xiàn)。

簡(jiǎn)單幾行

javascript

就可以實(shí)現(xiàn)復(fù)雜的爬蟲(chóng)，同時(shí)提供很多功能函數(shù)：反反爬蟲(chóng)、

js

渲染、數(shù)據(jù)發(fā)布、圖表分析、反防盜鏈等，這些在開(kāi)發(fā)爬蟲(chóng)過(guò)程中經(jīng)常會(huì)遇到的問(wèn)題都由神箭手幫你解決。

神箭手上有開(kāi)發(fā)者文檔，詳細(xì)說(shuō)明了如何編寫(xiě)爬蟲(chóng)腳本，還有很多網(wǎng)站的源碼分享哦。

開(kāi)源爬蟲(chóng)框架各有什么優(yōu)缺點(diǎn)？

首先爬蟲(chóng)框架有三種

分布式爬蟲(chóng)：Nutch

JAVA單機(jī)爬蟲(chóng)：Crawler4j，WebMagic，WebCollector

非JAVA單機(jī)爬蟲(chóng)：scrapy

第一類(lèi):分布式爬蟲(chóng)

優(yōu)點(diǎn)：

海量URL管理

網(wǎng)速快

缺點(diǎn)：

Nutch是為搜索引擎設(shè)計(jì)的爬蟲(chóng)，大多數(shù)用戶(hù)是需要一個(gè)做精準(zhǔn)數(shù)據(jù)爬?。ň槿。┑呐老x(chóng)。Nutch運(yùn)行的一套流程里，有三分之二是為了搜索引擎而設(shè)計(jì)的。對(duì)精抽取沒(méi)有太大的意義。

用Nutch做數(shù)據(jù)抽取，會(huì)浪費(fèi)很多的時(shí)間在不必要的計(jì)算上。而且如果你試圖通過(guò)對(duì)Nutch進(jìn)行二次開(kāi)發(fā)，來(lái)使得它適用于精抽取的業(yè)務(wù)，基本上就要破壞Nutch的框架，把Nutch改的面目全非。

Nutch依賴(lài)hadoop運(yùn)行，hadoop本身會(huì)消耗很多的時(shí)間。如果集群機(jī)器數(shù)量較少，爬取速度反而不如單機(jī)爬蟲(chóng)。

Nutch雖然有一套插件機(jī)制，而且作為亮點(diǎn)宣傳。可以看到一些開(kāi)源的Nutch插件，提供精抽取的功能。但是開(kāi)發(fā)過(guò)Nutch插件的人都知道，Nutch的插件系統(tǒng)有多蹩腳。利用反射的機(jī)制來(lái)加載和調(diào)用插件，使得程序的編寫(xiě)和調(diào)試都變得異常困難，更別說(shuō)在上面開(kāi)發(fā)一套復(fù)雜的精抽取系統(tǒng)了。

Nutch并沒(méi)有為精抽取提供相應(yīng)的插件掛載點(diǎn)。Nutch的插件有只有五六個(gè)掛載點(diǎn)，而這五六個(gè)掛載點(diǎn)都是為了搜索引擎服務(wù)的，并沒(méi)有為精抽取提供掛載點(diǎn)。大多數(shù)Nutch的精抽取插件，都是掛載在“頁(yè)面解析”(parser)這個(gè)掛載點(diǎn)的，這個(gè)掛載點(diǎn)其實(shí)是為了解析鏈接（為后續(xù)爬取提供URL），以及為搜索引擎提供一些易抽取的網(wǎng)頁(yè)信息(網(wǎng)頁(yè)的meta信息、text)

用Nutch進(jìn)行爬蟲(chóng)的二次開(kāi)發(fā)，爬蟲(chóng)的編寫(xiě)和調(diào)試所需的時(shí)間，往往是單機(jī)爬蟲(chóng)所需的十倍時(shí)間不止。了解Nutch源碼的學(xué)習(xí)成本很高，何況是要讓一個(gè)團(tuán)隊(duì)的人都讀懂Nutch源碼。調(diào)試過(guò)程中會(huì)出現(xiàn)除程序本身之外的各種問(wèn)題(hadoop的問(wèn)題、hbase的問(wèn)題)。

Nutch2的版本目前并不適合開(kāi)發(fā)。官方現(xiàn)在穩(wěn)定的Nutch版本是nutch2.2.1，但是這個(gè)版本綁定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一個(gè)版本，這個(gè)版本在官方的SVN中不斷更新。而且非常不穩(wěn)定（一直在修改）。

第二類(lèi):JAVA單機(jī)爬蟲(chóng)

優(yōu)點(diǎn)：

支持多線(xiàn)程。

支持代理。

能過(guò)濾重復(fù)URL的。

負(fù)責(zé)遍歷網(wǎng)站和下載頁(yè)面。爬js生成的信息和網(wǎng)頁(yè)信息抽取模塊有關(guān)，往往需要通過(guò)模擬瀏覽器(htmlunit,selenium)來(lái)完成。

缺點(diǎn)：

設(shè)計(jì)模式對(duì)軟件開(kāi)發(fā)沒(méi)有指導(dǎo)性作用。用設(shè)計(jì)模式來(lái)設(shè)計(jì)爬蟲(chóng)，只會(huì)使得爬蟲(chóng)的設(shè)計(jì)更加臃腫。

第三類(lèi):非JAVA單機(jī)爬蟲(chóng)

優(yōu)點(diǎn)：

先說(shuō)python爬蟲(chóng)，python可以用30行代碼，完成JAVA

50行代碼干的任務(wù)。python寫(xiě)代碼的確快，但是在調(diào)試代碼的階段，python代碼的調(diào)試往往會(huì)耗費(fèi)遠(yuǎn)遠(yuǎn)多于編碼階段省下的時(shí)間。

使用python開(kāi)發(fā)，要保證程序的正確性和穩(wěn)定性，就需要寫(xiě)更多的測(cè)試模塊。當(dāng)然如果爬取規(guī)模不大、爬取業(yè)務(wù)不復(fù)雜，使用scrapy這種爬蟲(chóng)也是蠻不錯(cuò)的，可以輕松完成爬取任務(wù)。

缺點(diǎn)：

bug較多，不穩(wěn)定。

爬蟲(chóng)可以爬取ajax信息么？

網(wǎng)頁(yè)上有一些異步加載的數(shù)據(jù)，爬取這些數(shù)據(jù)有兩種方法：使用模擬瀏覽器（問(wèn)題1中描述過(guò)了），或者分析ajax的http請(qǐng)求，自己生成ajax請(qǐng)求的url，獲取返回的數(shù)據(jù)。如果是自己生成ajax請(qǐng)求，使用開(kāi)源爬蟲(chóng)的意義在哪里？其實(shí)是要用開(kāi)源爬蟲(chóng)的線(xiàn)程池和URL管理功能（比如斷點(diǎn)爬?。?/p>

如果我已經(jīng)可以生成我所需要的ajax請(qǐng)求（列表），如何用這些爬蟲(chóng)來(lái)對(duì)這些請(qǐng)求進(jìn)行爬?。?? ? ?

爬蟲(chóng)往往都是設(shè)計(jì)成廣度遍歷或者深度遍歷的模式，去遍歷靜態(tài)或者動(dòng)態(tài)頁(yè)面。爬取ajax信息屬于deepweb（深網(wǎng)）的范疇，雖然大多數(shù)爬蟲(chóng)都不直接支持。但是也可以通過(guò)一些方法來(lái)完成。比如WebCollector使用廣度遍歷來(lái)遍歷網(wǎng)站。爬蟲(chóng)的第一輪爬取就是爬取種子集合(seeds)中的所有url。簡(jiǎn)單來(lái)說(shuō)，就是將生成的ajax請(qǐng)求作為種子，放入爬蟲(chóng)。用爬蟲(chóng)對(duì)這些種子，進(jìn)行深度為1的廣度遍歷（默認(rèn)就是廣度遍歷）。

爬蟲(chóng)怎么爬取要登陸的網(wǎng)站？

這些開(kāi)源爬蟲(chóng)都支持在爬取時(shí)指定cookies，模擬登陸主要是靠cookies。至于cookies怎么獲取，不是爬蟲(chóng)管的事情。你可以手動(dòng)獲取、用http請(qǐng)求模擬登陸或者用模擬瀏覽器自動(dòng)登陸獲取cookie。

爬蟲(chóng)怎么抽取網(wǎng)頁(yè)的信息？

開(kāi)源爬蟲(chóng)一般都會(huì)集成網(wǎng)頁(yè)抽取工具。主要支持兩種規(guī)范：CSSSELECTOR和XPATH。

網(wǎng)頁(yè)可以調(diào)用爬蟲(chóng)么？

爬蟲(chóng)的調(diào)用是在Web的服務(wù)端調(diào)用的，平時(shí)怎么用就怎么用，這些爬蟲(chóng)都可以使用。

爬蟲(chóng)速度怎么樣？

單機(jī)開(kāi)源爬蟲(chóng)的速度，基本都可以講本機(jī)的網(wǎng)速用到極限。爬蟲(chóng)的速度慢，往往是因?yàn)橛脩?hù)把線(xiàn)程數(shù)開(kāi)少了、網(wǎng)速慢，或者在數(shù)據(jù)持久化時(shí)，和數(shù)據(jù)庫(kù)的交互速度慢。而這些東西，往往都是用戶(hù)的機(jī)器和二次開(kāi)發(fā)的代碼決定的。這些開(kāi)源爬蟲(chóng)的速度，都很可以。