這篇文章給大家分享的是有關(guān)數(shù)據(jù)提取時(shí)用xpath還是正則表達(dá)式呢的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來(lái)看看吧。
創(chuàng)新互聯(lián)建站專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、麻江網(wǎng)絡(luò)推廣、小程序設(shè)計(jì)、麻江網(wǎng)絡(luò)營(yíng)銷、麻江企業(yè)策劃、麻江品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)建站為所有大學(xué)生創(chuàng)業(yè)者提供麻江建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18980820575，官方網(wǎng)址：www.cdcxhl.com
xpath和正則表達(dá)式是數(shù)據(jù)提取時(shí)最常用的兩種方法，究竟用哪個(gè)好呢？
測(cè)試代碼如下所示，實(shí)驗(yàn)?zāi)繕?biāo)是同一HTML文檔，分別使用webscrpaing庫(kù)中的xpath，lxml庫(kù)中的xpath以及正則表達(dá)式提取100次，統(tǒng)計(jì)各方法的用時(shí)：
view plain copy to clipboard print ?
# coding: utf-8
# xpath_speed_test.py
import re
import time
from lxml import etree
from webscraping import common, download, xpath
TEST_TIMES = 100
def test():
url = 'http://hotels.ctrip.com/international/washington26363'
html = download.Download().get(url)
html = common.to_unicode(html)
# 測(cè)試webscraping庫(kù)的xpath提取速度
start_time = time.time()
for i in range(TEST_TIMES):
for hid, hprice in zip(xpath.search(html, '//div[@class="hlist_item"]/@id'), xpath.search(html, '//div[@class="hlist_item_price"]/span')):
#print hid, hprice
pass
end_time = time.time()
webscraping_xpath_time_used = end_time - start_time
print '"webscraping.xpath" time used: {} seconds.'.format(webscraping_xpath_time_used)
# 測(cè)試lxml庫(kù)xpath提取速度
start_time = time.time()
for i in range(TEST_TIMES):
root = etree.HTML(html)
for hlist_div in root.xpath('//div[@class="hlist_item"]'):
hid = hlist_div.get('id')
hprice = hlist_div.xpath('.//div[@class="hlist_item_price"]/span')[].text
#print hid, hprice
pass
end_time = time.time()
lxml_time_used = end_time - start_time
print '"lxml" time used: {} seconds.'.format(lxml_time_used)
# 測(cè)試正則表達(dá)式的速度
start_time = time.time()
for i in range(TEST_TIMES):
for hid, hprice in zip(re.compile(r'class="hlist_item" id="(\d+)"').findall(html), re.compile(r'
#print hid, hprice
pass
end_time = time.time()
re_time_used = end_time - start_time
print '"re" time used: {} seconds.'.format(re_time_used)
if __name__ == '__main__':
test()
運(yùn)行結(jié)果如下：
view plain copy to clipboard print ?
"webscraping.xpath" time used: 100.677000046 seconds.
"lxml" time used: 2.09100008011 seconds.
"re" time used: 0.138999938965 seconds.
結(jié)果很震撼：
正則表達(dá)式只用了0.14秒；
lxml的xpath用了2.1秒；
webscraping的xpath用了101秒！
由于xpath簡(jiǎn)單而且靈活，我們?cè)谂老x開發(fā)的時(shí)候一般都會(huì)首選，但是通過這個(gè)實(shí)驗(yàn)發(fā)現(xiàn)它的效率遠(yuǎn)低于正則表達(dá)式，尤其是webscrpaing庫(kù)中的xpath速度更是慢得恐怖。
因此，在我們的爬蟲開發(fā)過程中，應(yīng)該首選正則表達(dá)式，如果用正則表達(dá)式實(shí)在難于實(shí)現(xiàn)，再考慮xpath，另外，在使用xpath的時(shí)候一定要選用高效的庫(kù)，比如lxml。特別是在數(shù)據(jù)量特別大的時(shí)候，效率顯得尤為重要。
感謝各位的閱讀！關(guān)于“數(shù)據(jù)提取時(shí)用xpath還是正則表達(dá)式呢”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！
重慶分公司
重慶分公司
