HtmlParse 是一款基于windwos平臺的HTML文檔解析工具，可快速構(gòu)建DOM樹，從而輕松實現(xiàn)網(wǎng)頁元素的爬取工作。DOM樹就是一個HTML文檔的節(jié)點樹，每個節(jié)點由：標(biāo)簽（Tag）、屬性（Attribute）、文本（Text）三個值來描述。

所謂的HTML文檔解析，指的就是如何構(gòu)建一顆DOM樹，只有成功構(gòu)建出DOM樹，才有可能進(jìn)行后續(xù)的數(shù)據(jù)爬取和分析工作。顯然，構(gòu)建DOM樹是比較復(fù)雜的過程，因為不是每一個HTML文檔都會嚴(yán)格按照規(guī)范來書寫，因此解析過程需要具有一定容錯能力。此外，解析效率也是一個需要考慮的因素，也就是說最好通過一次文檔掃描即可建立起DOM樹，而不是反復(fù)掃描。

下面是HtmlParse介紹。

10年積累的成都做網(wǎng)站、網(wǎng)站建設(shè)經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你，你也不認(rèn)識我。但先網(wǎng)站策劃后付款的網(wǎng)站建設(shè)流程，更有響水免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

工具特點

1、綠色純天然，無任何第三方依賴庫，文件大小不到150K；
2、解析速度快，具有一定的HTML語法容錯能力，可快速將HMTL文檔解析為DOM樹；
3、基于命令行參數(shù)，可通過不同參數(shù)獲取指定TAG的屬性值和文本內(nèi)容，從而實現(xiàn)網(wǎng)頁爬取功能；
4、可將爬取數(shù)據(jù)輸出為json格式，方便第三方程序進(jìn)一步分析和使用；
5、可爬取script腳本到指定的js文件中；

下載地址：http://softlee.cn/HtmlParse.zip

使用方法

HtmlParse HtmlPathFile -tag TagName [-attr] [Attribute] [-o] [JsonPathFile]

解析指定的HTML文檔，并將文檔中指定的標(biāo)簽及屬性輸出到指定文件中。

HtmlPathFile：必選參數(shù)，要解析的HTML文檔路徑名，如果文件路徑中有空格，可使用雙引號將文件路徑包含；

-tag：必選參數(shù)，用于指定要抓取的HTML標(biāo)簽名稱；
-attr：可選參數(shù)，用于指定標(biāo)簽的屬性值，如果不指定，則返回該標(biāo)簽的所有屬性值；
-o：可選參數(shù)，用于指定抓取內(nèi)容輸出的文件，可將抓取的內(nèi)容保存為json格式的文件。 如果該參數(shù)不指定，則進(jìn)行控制臺輸出。 如果抓取的是script、style則會保存為js格式文件。

如果要抓取doctype，可使用-tag doctype，將整個doctype內(nèi)容獲取。此時將會忽略-attr指定的任何屬性值。

舉例說明

1、爬取網(wǎng)頁中所有超鏈接

HtmlParse c:/sina.html -tag a -attr href -o c:/sina.json

解析C盤下的sina.html文檔，并提取該文檔中的所有超鏈接到sina.json文件中。其中-tag a -attr href，用于指定獲取超鏈接標(biāo)簽a的href屬性。

2、爬取網(wǎng)頁中所有圖片鏈接

HtmlParse c:/sina.html -tag img -attr src -o c:/sina.json

解析C盤下的sina.html文檔，并提取該文檔中的所有圖片鏈接到sina.json文件中。

3、爬取網(wǎng)頁中所有腳本

HtmlParse c:/sina.html -tag script -o c:/sina.js

解析C盤下的sina.html文檔，并提取該文檔中的所有腳本函數(shù)到sina.js文件中。

輸出內(nèi)容

如果通過-o參數(shù)指定輸出文件，則會生成一個json格式的文檔。
TagName為爬取的標(biāo)簽名稱，比如超鏈接的a，其值是一個json數(shù)組，數(shù)組中的每個內(nèi)容為Json對象，每個Json對象，有屬性和文本構(gòu)成。如果-attr 指定了要爬取的屬性，則AttrName為指定的屬性名稱，比如href或src。text為該標(biāo)簽的文本內(nèi)容，有些標(biāo)簽不存在文本內(nèi)容，比如img、meta等，則該值為空。json格式如下：

{
  "TagName":
  [
     {"AttrName":"AttrValue1", "text":"text1"}
     {"AttrName":"AttrValue1", "text":"text2"}
  ]
}

下面是一個sina網(wǎng)頁的所有超鏈接json

{
	"a": [{
		"href": "javascript:;",
		"text": "設(shè)為首頁"
	}, {
		"href": "javascript:;",
		"text": "我的菜單"
	}, {
		"href": "https://sina.cn/",
		"text": "手機新浪網(wǎng)"
	}, {
		"href": "",
		"text": "移動客戶端"
	}, {
		"href": "https://c.weibo.cn/client/guide/download",
		"text": "新浪微博"
	}, {
		"href": "https://so.sina.cn/palmnews/web-sinanews-app-download.d.html",
		"text": "新浪新聞"
	}, {
		"href": "https://finance.sina.com.cn/mobile/comfinanceweb.shtml",
		"text": "新浪財經(jīng)"
	}, {
		"href": "https://m.sina.com.cn/m/sinasports.shtml",
		"text": "新浪體育"
	}, {
		"href": "https://tousu.sina.com.cn/about_app/index?frompage=heimaopc",
		"text": "黑貓投訴"
	}, {
		"href": "http://blog.sina.com.cn/lm/z/app/",
		"text": "新浪博客"
	}, {
		"href": "https://games.sina.com.cn/o/kb/.shtml",
		"text": "新浪游戲"
	}, {
		"href": "https://zhongce.sina.com.cn/about/app",
		"text": "新浪眾測"
	}, {
		"href": "https://mail.sina.com.cn/client/mobile/index.php?suda-key=mail_app&suda-value=login",
		"text": "新浪郵箱客戶端"
	}, {
		"href": "javascript:;",
		"text": "關(guān)閉置頂"
	}, {

寫在最后

網(wǎng)頁下載可通過wincurl工具，這是一個windows平臺下的curl程序。

下載地址：http://softlee.cn/wincurl.zip

介紹文章：《wincurl：一款基于HTTP協(xié)議的輕量級web資源抓取和上傳工具》