1. 你可以選擇用Java代碼來找到整個網(wǎng)頁的html代碼，如下
創(chuàng)新互聯(lián)主營徐州網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都app軟件開發(fā)公司,徐州h5小程序制作搭建,徐州網(wǎng)站營銷推廣歡迎徐州等地區(qū)企業(yè)咨詢
(注意在處理網(wǎng)頁方面的內(nèi)容時，需要導(dǎo)入htmlparser包來支持)
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.HtmlPage;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.util.NodeList;
public class htmlmover {
public static void main(String[] args){
NodeList rt= getNodeList("");
System.out.println(rt.toHtml());
}
public static NodeList getNodeList(String url){
Parser parser = null;
HtmlPage visitor = null;
try {
parser = new Parser(url);
parser.setEncoding("GBK");
visitor = new HtmlPage(parser);
parser.visitAllNodesWith(visitor);
} catch (ParserException e) {
e.printStackTrace();
}
NodeList nodeList = visitor.getBody();
return nodeList;
}
}
以上代碼，public static NodeList getNodeList(String url) 為主體
傳入需要分析網(wǎng)頁的 url(String類型)，返回值是網(wǎng)頁Html節(jié)點List(Nodelist類型)
這個方法我沒有什么要說的，剛開始的時候沒看懂（沒接觸過），后來用了幾次也懂點皮毛了
注意： parser.setEncoding("GBK"); 可能你的工程編碼格式是UTF-8,有錯誤的話需要改動
運行該程序
2.通過瀏覽器工具直接查看 IE是按F12 （剛開始沒發(fā)現(xiàn)這個方法，于是傻乎乎地找上面的代碼）
分析你所獲得的html代碼讓人眼花繚亂，不要緊，找到自己需要趴取的內(nèi)容，找到它上下文有特征的節(jié)點
!--中行牌價 開始--
div id="sw01_con1"
table width="655" border="0" cellspacing="0" cellpadding="0" class="hgtab"
thead
tr
th width="85" align="center" class="th_l"交易幣種/th
th width="80" align="center"交易單位/th
th width="130" align="center"現(xiàn)價(人民幣)/th
th width="80" align="center"賣出價/th
th width="100" align="center"現(xiàn)匯買入價/th
th width="95" align="center"現(xiàn)鈔買入價/th
/tr
/thead
tbody
tr align="center"
td 英鎊/td
td100/td
td992.7/td
td1001.24/td
td993.26/td
td class="no"962.6/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 港幣/td
td100/td
td81.54/td
td82.13/td
td81.81/td
td class="no"81.16/td
/tr
tr align="center"
td 美元/td
td100/td
td635.49/td
td639.35/td
td636.8/td
td class="no"631.69/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 瑞士法郎/td
td100/td
td710.89/td
td707.78/td
td702.14/td
td class="no"680.46/td
/tr
tr align="center"
td 新加坡元/td
td100/td
td492.45/td
td490.17/td
td486.27/td
td class="no"471.25/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 瑞典克朗/td
td100/td
td93.66/td
td93.79/td
td93.04/td
td class="no"90.17/td
/tr
tr align="center"
td 丹麥克朗/td
td100/td
td116.43/td
td115.59/td
td114.67/td
td class="no"111.13/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 挪威克朗/td
td100/td
td110.01/td
td109.6/td
td108.73/td
td class="no"105.37/td
/tr
!--{2011-10-01 23:16:00}--
/tbody
/table
/div
!--中行牌價 結(jié)束--
大家可以看到這是一段很有規(guī)律，書寫非常規(guī)范的Html代碼（這只是第一部分，中行牌價，可以想像，接下來還會有并列的 相似的3部分）
大家想截取這些節(jié)點中的數(shù)據(jù)
以下代碼仍需導(dǎo)入htmlparser Java支持包
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class Currencyrate {
public static void main(String[] args){
String url="";
ArrayListString rt= getNodeList(url);
for (int i = 0; i rt.size(); i++){
System.out.println(rt.get(i));
}
}
public static ArrayListString getNodeList(String url){
final ArrayListString result=new ArrayListString();
Parser parser = null;
NodeList nodeList=null;
try {
parser = new Parser(url);
parser.setEncoding("GBK");
nodeList = parser.parse(
new NodeFilter(){
@Override
public boolean accept(Node node){
Node need=node;
if(getStringsByRegex(node.getText())){
for(int i=0;i6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
return true;
}
return false;
}
}
);
}catch (ParserException e) {
e.printStackTrace();
}
return result;
}
public static boolean getStringsByRegex(String txt) {
String regex="td class=\"no\"";
Pattern p = Pattern.compile(regex);
Matcher m = p.matcher(txt);
if (m.find()){
return true;
}
return false;
}
}
廢話不多說，
public static ArrayListString getNodeList(String url) 主要方法
parser.setEncoding("GBK"); 需要注意，代碼編碼格式
nodeList = parser.parse(
new NodeFilter(){
@Override
public boolean accept(Node node){
}
｝
);
nodelist是html節(jié)點的列表，現(xiàn)在使用NodeFilter ( 節(jié)點過濾器 )實例， 重載NodeFilter類中的accept()方法
在parser這個Parser類訪問整個html頁面的時候，每遇到一個html節(jié)點，就會訪問這個
accept()方法，返回True的話就會將這個節(jié)點 放進nodelist中，否則就不會將這個節(jié)點放進去。這個就是NodeFilter功能。
代碼段一獲取整個html頁面時候 parser.visitAllNodesWith(visitor); 就是獲取所有節(jié)點
所以現(xiàn)在我們要趴取網(wǎng)頁上的內(nèi)容，只要告訴accept()這個方法，哪些節(jié)點要放進nodelist去，即 遇到哪些節(jié)點需要返回true。
于是
public boolean accept(Node node){
Node need=node;
if(getStringsByRegex(node.getText())){
for(int i=0;i6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
return true;
}
return false;
}
Parser類在遇到節(jié)點，就把這個節(jié)點拿過去問accept()，于是accept()方法分析，如果滿足getStringsByRegex(node.getText())就要了
接下來分析getStringsByRegex()，只剩下最后一步了，大家堅持??！
String regex="td class=\"no\"";
Pattern p = Pattern.compile(regex);
Matcher m = p.matcher(txt);
if (m.find()){
return true;
}
return false;
}
大家可以發(fā)現(xiàn)我們索要的每一段都是
tr align="center"
td 英鎊/td
td100/td
td992.7/td
td1001.24/td
td993.26/td
td class="no"962.6/td
/tr
所以只要找到td class="no"這個節(jié)點就行了，我們用正則表達式去比較
String regex="td class=\"no\""; 這個是比較標準（正則表達式 td class=”no” 其中兩個引號需要作為轉(zhuǎn)義字符來表示 成\“ ）
變量txt是我們傳過去的需要比較的節(jié)點的node.getText()，如果符合的話m.find就是true,于是getStringsByRegex()返回true，說明這個節(jié)點就是我們所需要的哪些節(jié)點，于是
for(int i=0;i6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
每一段html，6個為一組，先是962.6，然后是993.26，1001.24，992.7，100，英鎊分別被add進result這個ArrayListString中去，返回，這個ArrayList裝的就是我們需要抓取的數(shù)據(jù)
大家可以把我們所獲得的String數(shù)據(jù)數(shù)出來試試看，是不是我們需要的順序，main()函數(shù)獲得ArrayListString，就可以顯示到我們所需要的Java widget上去了
一般情況下，我們獲取到的是服務(wù)器處理過的頁面，
是一個單純的HTML頁面，獲取語法是
public?static?void?main(String[]?args)?{
String?url?=?"";??
String?str=new?User().getPageContent(""" target="_blank"",?"post",?100500);
System.out.println("頁面內(nèi)容："+str);
}
???public?String?getPageContent(String?strUrl,?String?strPostRequest,??
int?maxLength)?{??
//?讀取結(jié)果網(wǎng)頁??
StringBuffer?buffer?=?new?StringBuffer();??
System.setProperty("sun.net.client.defaultConnectTimeout",?"5000");??
System.setProperty("sun.net.client.defaultReadTimeout",?"5000");??
try?{??
URL?newUrl?=?new?URL(strUrl);??
HttpURLConnection?hConnect?=?(HttpURLConnection)?newUrl??
.openConnection();??
//?POST方式的額外數(shù)據(jù)??
if?(strPostRequest.length()??0)?{??
hConnect.setDoOutput(true);??
OutputStreamWriter?out?=?new?OutputStreamWriter(hConnect??
.getOutputStream());??
out.write(strPostRequest);??
out.flush();??
out.close();??
}??
//?讀取內(nèi)容??
??
BufferedReader?rd?=?new?BufferedReader(new?InputStreamReader(??
hConnect.getInputStream()));??
int?ch;??
for?(int?length?=?0;?(ch?=?rd.read())??-1??
?(maxLength?=?0?||?length??maxLength);?length++)??
buffer.append((char)?ch);??
String?s?=?buffer.toString();??
s.replaceAll("\\[a-zA-Z]{1,10};",?"").replaceAll("[^]*",?"");??
System.out.println(s);??
??
rd.close();??
hConnect.disconnect();??
return?buffer.toString().trim();??
}?catch?(Exception?e)?{??
//?return?"錯誤:讀取網(wǎng)頁失??！";??
//??
return?null;??
??
???
}??
}
1、Jsoup簡述
Java中支持的爬蟲框架有很多，比如WebMagic、Spider、Jsoup等。
Jsoup擁有十分方便的api來處理html文檔，比如參考了DOM對象的文檔遍歷方法，參考了CSS選擇器的用法等等，因此我們可以使用Jsoup快速地掌握爬取頁面數(shù)據(jù)的技巧。
2、快速開始
1)分析HTML頁面，明確哪些數(shù)據(jù)是需要抓取的
2)使用HttpClient讀取HTML頁面
HttpClient是一個處理Http協(xié)議數(shù)據(jù)的工具，使用它可以將HTML頁面作為輸入流讀進java程序中.
3)使用Jsoup解析html字符串
通過引入Jsoup工具，直接調(diào)用parse方法來解析一個描述html頁面內(nèi)容的字符串來獲得一個Document對象。該Document對象以操作DOM樹的方式來獲得html頁面上指定的內(nèi)容。
3、保存爬取的頁面數(shù)據(jù)
1)保存普通數(shù)據(jù)到數(shù)據(jù)庫中
將爬取的數(shù)據(jù)封裝進實體Bean中，并存到數(shù)據(jù)庫內(nèi)。
2)保存圖片到服務(wù)器上
直接通過下載圖片的方式將圖片保存到服務(wù)器本地。
根據(jù)java網(wǎng)絡(luò)編程相關(guān)的內(nèi)容，使用jdk提供的相關(guān)類可以得到url對應(yīng)網(wǎng)頁的html頁面代碼。
針對得到的html代碼，通過使用正則表達式即可得到我們想要的內(nèi)容。
比如，我們?nèi)绻氲玫揭粋€網(wǎng)頁上所有包括“java”關(guān)鍵字的文本內(nèi)容，就可以逐行對網(wǎng)頁代碼進行正則表達式的匹配。最后達到去除html標簽和不相關(guān)的內(nèi)容，只得到包括“java”這個關(guān)鍵字的內(nèi)容的效果。
從網(wǎng)頁上爬取圖片的流程和爬取內(nèi)容的流程基本相同，但是爬取圖片的步驟會多一步。
需要先用img標簽的正則表達式匹配獲取到img標簽，再用src屬性的正則表達式獲取這個img標簽中的src屬性的圖片url，然后再通過緩沖輸入流對象讀取到這個圖片url的圖片信息，配合文件輸出流將讀到的圖片信息寫入到本地即可。
重慶分公司
重慶分公司
