在上一節(jié)我們了解了 ChromeDriver 的配置方法，配置完成之后我們便可以用 Selenium 來驅(qū)動 Chrome 瀏覽器來做相應(yīng)網(wǎng)頁的抓取。
那么對于 Firefox 來說，也可以使用同樣的方式完成 Selenium 的對接，這時需要安裝另一個驅(qū)動 GeckoDriver。
本節(jié)來介紹一下 GeckoDriver 的安裝過程。
成都創(chuàng)新互聯(lián)公司長期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為嶗山企業(yè)提供專業(yè)的網(wǎng)站制作、成都網(wǎng)站建設(shè)，嶗山網(wǎng)站改版等技術(shù)服務(wù)。擁有十余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
重慶分公司
重慶分公司
brew?install?GeckoDriver
配置完成之后，就可以在命令行下直接執(zhí)行 geckodriver 命令測試。
命令行下輸入：
geckodriver
這時控制臺應(yīng)該有類似輸出，如圖 1-20 所示：
圖 1-20 控制臺輸出
如果有類似輸出則證明 GeckoDriver 的環(huán)境變量配置好了。
隨后再在程序中測試，執(zhí)行如下 Python 代碼：
from selenium import webdriver
browser = webdriver.Firefox()
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎運行之后會彈出一個空白的 Firefox 瀏覽器，證明所有的配置都沒有問題，如果沒有彈出，請檢查之前的每一步的配置。
如果沒有問題，接下來我們就可以利用 Firefox 配合 Selenium 來做網(wǎng)頁抓取了。
到現(xiàn)在位置我們就可以使用 Chrome 或 Firefox 進(jìn)行網(wǎng)頁抓取了，但是這樣可能有個不方便之處，因為程序運行過程中需要一直開著瀏覽器，在爬取網(wǎng)頁的過程中瀏覽器可能一直動來動去，著實不方便。目前最新的 Chrome 瀏覽器版本已經(jīng)支持了×××面模式，但如果版本較舊就不支持。所以在這里還有另一種方便的選擇就是安裝一個×××面瀏覽器 PhantomJS，抓取過程會在后臺運行，不會再有窗口出現(xiàn)，這樣就方便了很多，所以在下一節(jié)我們再了解一下 PhantomJS 的相關(guān)安裝方法。
如果我們使用 Chrome 或 Firefox 進(jìn)行網(wǎng)頁抓取的話，每次抓取的時候，都會彈出一個瀏覽器，比較影響使用。所以在這里再介紹一個×××面瀏覽器，叫做 PhantomJS。
PhantomJS 是一個×××面的，可腳本編程的 WebKit 瀏覽器引擎。它原生支持多種 web 標(biāo)準(zhǔn)：DOM 操作，CSS 選擇器，JSON，Canvas 以及 SVG。
Selenium 支持 PhantomJS，這樣在運行的時候就不會再彈出一個瀏覽器了，而且其運行效率也是很高的，還支持各種參數(shù)配置，使用非常方便，下面我們就來了解一下 PhantomJS 的安裝過程。
brew cask?install?phantomjs在 Selenium 中使用的話，我們只需要將 Chrome 切換為 PhantomJS 即可。
from selenium import webdriver
browser = webdriver.PhantomJS()
browser.get('https://www.baidu.com')
print(browser.current_url)運行之后我們就不會發(fā)現(xiàn)有瀏覽器彈出了，但實際上 PhantomJS 已經(jīng)運行起來了，在這里我們訪問了百度，然后將當(dāng)前的 URL 打印出來。
控制臺輸出如下：
https://www.baidu.com/如此一來我們便完成了 PhantomJS 的配置，在后面我們可以利用它來完成一些頁面的抓取。
以上三節(jié)我們介紹了 Selenium 對應(yīng)的三大主流瀏覽器的對接方式，在后文我們會對 Selenium 及各個瀏覽器的對接方法進(jìn)行更加深入的探究。
之前我們介紹的 Requests 庫是一個阻塞式 HTTP 請求庫，當(dāng)我們發(fā)出一個請求后，程序會一直等待服務(wù)器的響應(yīng)，直到得到響應(yīng)后程序才會進(jìn)行下一步的處理，其實這個過程是比較耗費資源的。如果程序可以在這個等待過程中做一些其他的事情，如進(jìn)行請求的調(diào)度、響應(yīng)的處理等等，那么爬取效率一定會大大提高。
Aiohttp 就是這樣一個提供異步 Web 服務(wù)的庫，從 Python3.5 版本開始，Python 中加入了 async/await 關(guān)鍵字，使得回調(diào)的寫法更加直觀和人性化，Aiohttp的異步操作借助于 async/await 關(guān)鍵字寫法變得更加簡潔，架構(gòu)更加清晰。使用異步請求庫來進(jìn)行數(shù)據(jù)抓取會大大提高效率，下面我們來看一下這個庫的安裝方法。
推薦使用 Pip 安裝，命令如下：
pip3?install?aiohttp另外官方還推薦安裝如下兩個庫，一個是字符編碼檢測庫 cchardet，另一個是加速 DNS 解析庫 aiodns，安裝命令如下：
pip3?install?cchardet aiodns安裝完成之后，可以在 Python 命令行下測試。
$ python3
>>> import aiohttp
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎如果沒有錯誤報出，則證明庫已經(jīng)安裝好了。
我們會在后面的實例中用到這個庫，比如維護(hù)一個代理池，利用異步方式檢測大量代理的運行狀況，極大提高效率。
