1.編寫useSourceViewer 類的基本框架,該類僅包括無返回值的main ()方法,該方法從參數(shù)中獲取URL,通過輸入緩沖和輸出緩沖將該URL 原碼輸出。
創(chuàng)新互聯(lián)公司是一家專業(yè)提供寶雞企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、HTML5、小程序制作等業(yè)務(wù)。10年已為寶雞眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站設(shè)計(jì)公司優(yōu)惠進(jìn)行中。
2.編寫useSourceViewer 類,代碼如下:
import java.net.*;
import java.io.*;
public class useSourceViewer
{
public static void main (String[] args)
{
if (args.length 0)
{
try
{
//讀入U(xiǎn)RL
URL u = new URL(args[0]);
InputStream in = u.openStream( );
// 為增加性能存儲(chǔ)輸入流
in = new BufferedInputStream(in);
// 將輸入流連接到閱讀器
Reader r = new InputStreamReader(in);
int c;
while ((c = r.read( )) != -1)
{
System.out.print((char) c);
}
Object o = u.getContent( );
System.out.println("I got a " + o.getClass().getName( ));
}
catch (MalformedURLException e)
{
System.err.println(args[0] + " is not a parseable URL");
}
catch (IOException e)
{
System.err.println(e);
}
} // end if
} // end main
} // end SourceViewer}
package test;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
public class HttpTest {
private String u;
private String encoding;
public static void main(String[] args) throws Exception {
HttpTest client = new HttpTest("", "UTF-8");
client.run();
}
public HttpTest(String u, String encoding) {
this.u = u;
this.encoding = encoding;
}
public void run() throws Exception {
URL url = new URL(u);// 根據(jù)鏈接(字符串格式),生成一個(gè)URL對象
HttpURLConnection urlConnection = (HttpURLConnection) url
.openConnection();// 打開URL
BufferedReader reader = new BufferedReader(new InputStreamReader(
urlConnection.getInputStream(), encoding));// 得到輸入流,即獲得了網(wǎng)頁的內(nèi)容
String line; // 讀取輸入流的數(shù)據(jù),并顯示
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
}
}
根據(jù)具體問題類型,進(jìn)行步驟拆解/原因原理分析/內(nèi)容拓展等。
具體步驟如下:/導(dǎo)致這種情況的原因主要是……
1. 你可以選擇用Java代碼來找到整個(gè)網(wǎng)頁的html代碼,如下
(注意在處理網(wǎng)頁方面的內(nèi)容時(shí),需要導(dǎo)入htmlparser包來支持)
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.HtmlPage;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.util.NodeList;
public class htmlmover {
public static void main(String[] args){
NodeList rt= getNodeList("");
System.out.println(rt.toHtml());
}
public static NodeList getNodeList(String url){
Parser parser = null;
HtmlPage visitor = null;
try {
parser = new Parser(url);
parser.setEncoding("GBK");
visitor = new HtmlPage(parser);
parser.visitAllNodesWith(visitor);
} catch (ParserException e) {
e.printStackTrace();
}
NodeList nodeList = visitor.getBody();
return nodeList;
}
}
以上代碼,public static NodeList getNodeList(String url) 為主體
傳入需要分析網(wǎng)頁的 url(String類型),返回值是網(wǎng)頁Html節(jié)點(diǎn)List(Nodelist類型)
這個(gè)方法我沒有什么要說的,剛開始的時(shí)候沒看懂(沒接觸過),后來用了幾次也懂點(diǎn)皮毛了
注意: parser.setEncoding("GBK"); 可能你的工程編碼格式是UTF-8,有錯(cuò)誤的話需要改動(dòng)
運(yùn)行該程序
2.通過瀏覽器工具直接查看 IE是按F12 (剛開始沒發(fā)現(xiàn)這個(gè)方法,于是傻乎乎地找上面的代碼)
分析你所獲得的html代碼讓人眼花繚亂,不要緊,找到自己需要趴取的內(nèi)容,找到它上下文有特征的節(jié)點(diǎn)
!--中行牌價(jià) 開始--
div id="sw01_con1"
table width="655" border="0" cellspacing="0" cellpadding="0" class="hgtab"
thead
tr
th width="85" align="center" class="th_l"交易幣種/th
th width="80" align="center"交易單位/th
th width="130" align="center"現(xiàn)價(jià)(人民幣)/th
th width="80" align="center"賣出價(jià)/th
th width="100" align="center"現(xiàn)匯買入價(jià)/th
th width="95" align="center"現(xiàn)鈔買入價(jià)/th
/tr
/thead
tbody
tr align="center"
td 英鎊/td
td100/td
td992.7/td
td1001.24/td
td993.26/td
td class="no"962.6/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 港幣/td
td100/td
td81.54/td
td82.13/td
td81.81/td
td class="no"81.16/td
/tr
tr align="center"
td 美元/td
td100/td
td635.49/td
td639.35/td
td636.8/td
td class="no"631.69/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 瑞士法郎/td
td100/td
td710.89/td
td707.78/td
td702.14/td
td class="no"680.46/td
/tr
tr align="center"
td 新加坡元/td
td100/td
td492.45/td
td490.17/td
td486.27/td
td class="no"471.25/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 瑞典克朗/td
td100/td
td93.66/td
td93.79/td
td93.04/td
td class="no"90.17/td
/tr
tr align="center"
td 丹麥克朗/td
td100/td
td116.43/td
td115.59/td
td114.67/td
td class="no"111.13/td
/tr
tr align="center" bgcolor="#f2f3f4"
td 挪威克朗/td
td100/td
td110.01/td
td109.6/td
td108.73/td
td class="no"105.37/td
/tr
!--{2011-10-01 23:16:00}--
/tbody
/table
/div
!--中行牌價(jià) 結(jié)束--
大家可以看到這是一段很有規(guī)律,書寫非常規(guī)范的Html代碼(這只是第一部分,中行牌價(jià),可以想像,接下來還會(huì)有并列的 相似的3部分)
大家想截取這些節(jié)點(diǎn)中的數(shù)據(jù)
以下代碼仍需導(dǎo)入htmlparser Java支持包
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class Currencyrate {
public static void main(String[] args){
String url="";
ArrayListString rt= getNodeList(url);
for (int i = 0; i rt.size(); i++){
System.out.println(rt.get(i));
}
}
public static ArrayListString getNodeList(String url){
final ArrayListString result=new ArrayListString();
Parser parser = null;
NodeList nodeList=null;
try {
parser = new Parser(url);
parser.setEncoding("GBK");
nodeList = parser.parse(
new NodeFilter(){
@Override
public boolean accept(Node node){
Node need=node;
if(getStringsByRegex(node.getText())){
for(int i=0;i6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
return true;
}
return false;
}
}
);
}catch (ParserException e) {
e.printStackTrace();
}
return result;
}
public static boolean getStringsByRegex(String txt) {
String regex="td class=\"no\"";
Pattern p = Pattern.compile(regex);
Matcher m = p.matcher(txt);
if (m.find()){
return true;
}
return false;
}
}
廢話不多說,
public static ArrayListString getNodeList(String url) 主要方法
parser.setEncoding("GBK"); 需要注意,代碼編碼格式
nodeList = parser.parse(
new NodeFilter(){
@Override
public boolean accept(Node node){
}
}
);
nodelist是html節(jié)點(diǎn)的列表,現(xiàn)在使用NodeFilter ( 節(jié)點(diǎn)過濾器 )實(shí)例, 重載NodeFilter類中的accept()方法
在parser這個(gè)Parser類訪問整個(gè)html頁面的時(shí)候,每遇到一個(gè)html節(jié)點(diǎn),就會(huì)訪問這個(gè)
accept()方法,返回True的話就會(huì)將這個(gè)節(jié)點(diǎn) 放進(jìn)nodelist中,否則就不會(huì)將這個(gè)節(jié)點(diǎn)放進(jìn)去。這個(gè)就是NodeFilter功能。
代碼段一獲取整個(gè)html頁面時(shí)候 parser.visitAllNodesWith(visitor); 就是獲取所有節(jié)點(diǎn)
所以現(xiàn)在我們要趴取網(wǎng)頁上的內(nèi)容,只要告訴accept()這個(gè)方法,哪些節(jié)點(diǎn)要放進(jìn)nodelist去,即 遇到哪些節(jié)點(diǎn)需要返回true。
于是
public boolean accept(Node node){
Node need=node;
if(getStringsByRegex(node.getText())){
for(int i=0;i6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
return true;
}
return false;
}
Parser類在遇到節(jié)點(diǎn),就把這個(gè)節(jié)點(diǎn)拿過去問accept(),于是accept()方法分析,如果滿足getStringsByRegex(node.getText())就要了
接下來分析getStringsByRegex(),只剩下最后一步了,大家堅(jiān)持啊!
String regex="td class=\"no\"";
Pattern p = Pattern.compile(regex);
Matcher m = p.matcher(txt);
if (m.find()){
return true;
}
return false;
}
大家可以發(fā)現(xiàn)我們索要的每一段都是
tr align="center"
td 英鎊/td
td100/td
td992.7/td
td1001.24/td
td993.26/td
td class="no"962.6/td
/tr
所以只要找到td class="no"這個(gè)節(jié)點(diǎn)就行了,我們用正則表達(dá)式去比較
String regex="td class=\"no\""; 這個(gè)是比較標(biāo)準(zhǔn)(正則表達(dá)式 td class=”no” 其中兩個(gè)引號(hào)需要作為轉(zhuǎn)義字符來表示 成\“ )
變量txt是我們傳過去的需要比較的節(jié)點(diǎn)的node.getText(),如果符合的話m.find就是true,于是getStringsByRegex()返回true,說明這個(gè)節(jié)點(diǎn)就是我們所需要的哪些節(jié)點(diǎn),于是
for(int i=0;i6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
每一段html,6個(gè)為一組,先是962.6,然后是993.26,1001.24,992.7,100,英鎊分別被add進(jìn)result這個(gè)ArrayListString中去,返回,這個(gè)ArrayList裝的就是我們需要抓取的數(shù)據(jù)
大家可以把我們所獲得的String數(shù)據(jù)數(shù)出來試試看,是不是我們需要的順序,main()函數(shù)獲得ArrayListString,就可以顯示到我們所需要的Java widget上去了
jsp搜索只支持當(dāng)前頁面搜索如存在翻頁功能請使用java
以頁面列表為例:
1.在列表頁單條記錄外套一層div;div name="searchName" search="J2聯(lián)賽北九州金澤塞維"/div
search為自定義屬性 value為可搜索的關(guān)鍵字
2.js
$("[name='searchName']").each(function(){
var n = $(this).attr("search");
if(n.indexOf(name) == -1 )
{
$(this).hide();//隱藏不存在關(guān)鍵字的列表
}
});
你需要?jiǎng)?chuàng)建一個(gè)關(guān)鍵字表,用于替換搜索html數(shù)據(jù)流中的關(guān)鍵字,結(jié)構(gòu)類似KEY_NAME(關(guān)鍵字名稱),KEY_DESC(浮動(dòng)窗口信息),KEY_REPLACE_URL(替換生成的URL或js方法)。
在服務(wù)器端代碼中寫一個(gè)filter,根據(jù)定義的表來修改查詢到的html數(shù)據(jù)流,替換掉目標(biāo)關(guān)鍵字。
寫一個(gè)js方法來處理關(guān)鍵字onmouseover事件,并在公共頭中加載該js方法。