創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商,新人活動買多久送多久,劃算不套路!
小編給大家分享一下Python3爬蟲中Selenium有什么用,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
Selenium是一個自動化測試工具,利用它可以驅(qū)動瀏覽器執(zhí)行特定的動作,如點擊、下拉等操作,同時還可以獲取瀏覽器當(dāng)前呈現(xiàn)的頁面的源代碼,做到可見即可爬。對于一些JavaScript動態(tài)渲染的頁面來說,此種抓取方式非常有效。
1. 準(zhǔn)備工作
本節(jié)以Chrome為例來講解Selenium的用法。在開始之前,請確保已經(jīng)正確安裝好了Chrome瀏覽器并配置好了ChromeDriver。另外,還需要正確安裝好Python的Selenium庫,詳細(xì)的安裝和配置過程可以參考第1章。
2. 基本使用
準(zhǔn)備工作做好之后,首先來大體看一下Selenium有一些怎樣的功能。示例如下:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait browser = webdriver.Chrome() try: browser.get('https://www.baidu.com') input = browser.find_element_by_id('kw') input.send_keys('Python') input.send_keys(Keys.ENTER) wait = WebDriverWait(browser, 10) wait.until(EC.presence_of_element_located((By.ID, 'content_left'))) print(browser.current_url) print(browser.get_cookies()) print(browser.page_source) finally: browser.close()