小編給大家分享一下web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

成都創(chuàng)新互聯(lián)專注于資興網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供資興營銷型網(wǎng)站建設(shè)，資興網(wǎng)站制作、資興網(wǎng)頁設(shè)計、資興網(wǎng)站官網(wǎng)定制、微信小程序服務(wù)，打造資興網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供資興網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

Selenium是一個基于Web的開源自動化工具。Python使用Selenium用于自動化測試。 特點是易于使用。Selenium可以將標(biāo)準(zhǔn)Python命令發(fā)送到不同的瀏覽器，盡管它們的瀏覽器設(shè)計有所不同。

使用Selenium自動打開谷歌瀏覽器然后訪問地址http://econpy.pythonanywhere.com/ex/001.html，并將改頁面中的購買者姓名和商品價格抓取下來打印，然后自動關(guān)閉瀏覽器的操作。

分析頁面源代碼可知 購買者姓名和商品價格的html代碼信息如下：

使用Selenium自動打開谷歌瀏覽器的時候需要下載谷歌的驅(qū)動程序，我的谷歌瀏覽器版本為74：

所以我們訪問驅(qū)動程序下載地址：

https://sites.google.com/a/chromium.org/chromedriver/downloads

進行下載：

然后我們要使用Selenium 需要進行安裝，這里使用pip install selenium。

接下來開始編碼部分：

#導(dǎo)入包from selenium import webdriver#打開谷歌瀏覽器 并訪問要抓取數(shù)據(jù)的地址#注意：驅(qū)動chromedriver.exe與改python文件在同一個目錄driver = webdriver.Chrome('chromedriver.exe') driver.get("http://econpy.pythonanywhere.com/ex/001.html")# 使用xpath找到購買者和商品價格元素列表buyers = driver.find_elements_by_xpath('//div[@title="buyer-name"]')prices = driver.find_elements_by_xpath('//span[@class="item-price"]')
# 打印所有信息num_page_items = len(buyers)for i in range(num_page_items):    print(buyers[i].text + " : " + prices[i].text)
#完成任務(wù)后 關(guān)閉瀏覽器driver.close()

運行結(jié)果部分內(nèi)容為：

Carson Busses : $29.95Earl E. Byrd : $8.37Patty Cakes : $15.26Derri Anne Connecticut : $19.25Moe Dess : $19.25Leda Doggslife : $13.99Dan Druff : $31.57Al Fresco : $8.49。。。。。。

我簡單錄制了一下運行過程，由于單手操作錄制，畫面抖動，大家對付觀看一下，過程為：運行程序，自動打開谷歌瀏覽器，訪問地址，抓取數(shù)據(jù)打印，關(guān)閉瀏覽器完成

看完了這篇文章，相信你對“web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！