這篇文章主要為大家展示了“Python Selenium如何爬取每日天氣”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Python Selenium如何爬取每日天氣”這篇文章吧。
成都創(chuàng)新互聯(lián)公司企業(yè)建站,10余年網(wǎng)站建設(shè)經(jīng)驗，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁設(shè)計，有多年建站和網(wǎng)站代運營經(jīng)驗，設(shè)計師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對于成都做網(wǎng)站、成都網(wǎng)站設(shè)計、成都外貿(mào)網(wǎng)站建設(shè)中不同領(lǐng)域進行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動的思維在網(wǎng)頁中充分展現(xiàn)，通過對客戶行業(yè)精準(zhǔn)市場調(diào)研，為客戶提供的解決方案。
1、Selenium的介紹與安裝
Selenium是一個Web的自動化（測試）工具，它可以根據(jù)我們的指令，讓瀏覽器執(zhí)行自動加載頁面，獲取需要的數(shù)據(jù)等操作。
爬蟲，就是一段自動抓取互聯(lián)網(wǎng)信息的程序，從互聯(lián)網(wǎng)上抓取對于我們有價值的信息，就好像一只蟲子在一幢樓里不知疲倦地爬來爬去。
傳統(tǒng)的爬蟲通過直接模擬 HTTP 請求來爬取站點信息，由于這種方式和瀏覽器訪問差異比較明顯，很多站點都采取了一些反爬的手段。 Selenium 是通過模擬瀏覽器來爬取信息，其行為和用戶幾乎一樣，而且不用去分析每個請求的具體參數(shù)，比起傳統(tǒng)的爬蟲學(xué)起來更容易。唯一缺點是速度較慢，如果對爬蟲的速度沒有要求，那使用 Selenium 是個非常不錯的選擇。
Selenium的安裝相當(dāng)簡單，直接pip install selenium在線安裝就行了。
2. chromedriver的下載與安裝
Selenium 自身并不具備瀏覽器的功能，它需要與第三方瀏覽器結(jié)合在一起才能使用。Google的Chrome瀏覽器能很方便的支持此項功能，只需安裝其驅(qū)動程序Chromedriver就可以了。
下載地址：http://chromedriver.storage.googleapis.com/index.html
如何查看瀏覽器版本？可以在地址欄輸入‘chrome://version/’，第一行就是版本信息。以小渣自己的瀏覽器為例，版本為76.0.3809.132（32位）。（補充，也可以在軟件通常都有的“關(guān)于”信息中找到）
解壓下載文件，得到chromedriver.exe。作為一個新手教程，小渣不建議去設(shè)置什么復(fù)雜的環(huán)境變量，后續(xù)在使用chromedriver時用加絕對路徑引用就行。
完成準(zhǔn)備工作之后就可以進行爬蟲了。首先我們使用Selenium的瀏覽器驅(qū)動接口工具webdriver打開我們的爬取目標(biāo)：中央氣象臺網(wǎng)站上的每日天氣圖。
代碼：
重慶分公司
重慶分公司
from selenium import webdriver ## 導(dǎo)入selenium的瀏覽器驅(qū)動接口
chrome_driver = 路徑+'chromedriver.exe' #chromedriver的文件位置
driver = webdriver.Chrome(executable_path = chrome_driver) #加載瀏覽器驅(qū)動
driver.get('http://www.nmc.cn/publish/observations/china/dm/weatherchart-h000.htm') #打開頁面1、Selenium頁面元素定位
假設(shè)我們想下載500hPa高度的基本天氣分析圖，在平時我們會怎么做？肯定是在頁面上點擊500hPa，選擇基本天氣分析，然后對圖片右鍵另存為對不對？那么接下來我們就要借助Selenium對網(wǎng)頁進行控制，爬取的過程也就是模擬上述一系列人為操作讓機器來自動執(zhí)行。
Selenium對網(wǎng)頁的控制是基于各種HTML結(jié)構(gòu)元素的，在使用過程中，對于網(wǎng)頁各類元素的定位是基礎(chǔ)，只有準(zhǔn)確抓取到對應(yīng)元素才能進行后續(xù)的自動化控制。
1.1 查看頁面元素
Selenium定位時會涉及到一點HTML基礎(chǔ)知識，但不懂也沒關(guān)系，我們有偷懶的辦法。利用chrome瀏覽器的開發(fā)者工具，在chrome瀏覽器中右鍵點擊-->檢查，我們可以輕松地查看應(yīng)的頁面元素。
舉個例子：我們移動鼠標(biāo)到層次500hPa，就可以自動定位到500hPa層級按鈕對應(yīng)的HTML元素了，查看到它的屬性，可以看到500hPa這個按鈕對應(yīng)的頁面元素是link文字。
1.2 元素定位
元素查看完畢后，接著就要進行元素定位，顧名思義就是要找到這個元素在網(wǎng)頁中的位置，這樣后續(xù)才能進行精確的頁面控制。Selenium提供了很多種定位元素的方法，本文用到的主要有2個：
id定位：find_element_by_id()
link定位：find_element_by_link_text()
button1=driver.find_element_by_link_text('500hPa') #通過link文字精確定位元素
button2=driver.find_element_by_id('plist') #通過id精確定位元素
elem_pic = driver.find_element_by_id('imgpath') #通過id精確定位元素2、ActionChains模擬鼠標(biāo)操作
元素定位完成后，還需要模擬鼠標(biāo)進行懸浮和單擊等操作來選擇和下載我們所需目標(biāo)圖片。Selenium給我們提供了一個類來處理這類事件——ActionChains。這里用到的2個操作是：
鼠標(biāo)懸浮操作：move_to_element ()
單擊鼠標(biāo)左鍵：click()
下面給出完整的實現(xiàn)腳本：
from selenium import webdriver ## 導(dǎo)入selenium的瀏覽器驅(qū)動接口
from selenium.webdriver.common.action_chains import ActionChains
import time
import os
chrome_driver = 路徑+'chromedriver.exe' #chromedriver的文件位置
driver = webdriver.Chrome(executable_path = chrome_driver) #加載瀏覽器驅(qū)動
driver.get('http://www.nmc.cn/publish/observations/china/dm/weatherchart-h000.htm') #打開頁面
# driver.maximize_window()
time.sleep(1)
#模擬鼠標(biāo)選擇高度層
button1=driver.find_element_by_link_text('500hPa') #通過link文字精確定位元素
action = ActionChains(driver).move_to_element(button1) #鼠標(biāo)懸停在一個元素上
action.click(button1).perform() #鼠標(biāo)單擊
time.sleep(1) #注意加等待時間，避免因速度太快而失敗
for p in range(1,3): #下載昨日08點和20點的天氣圖
str_p=str(p)
#模擬鼠標(biāo)選擇時間
button2=driver.find_element_by_id('plist') #通過id精確定位元素
action = ActionChains(driver).move_to_element(button2) #鼠標(biāo)懸停在一個元素上
action.click(button2).perform() #鼠標(biāo)單擊
time.sleep(1)
Select(button2).select_by_index(str_p) #下拉菜單通過文本值定位從0開始
time.sleep(1)
#模擬鼠標(biāo)選擇圖片
elem_pic = driver.find_element_by_id('imgpath') #通過id精確定位元素
action = ActionChains(driver).move_to_element(elem_pic)
action.context_click(elem_pic).perform() #鼠標(biāo)右擊
filename= str(elem_pic.get_attribute('src')).split('/')[-1].split('?')[0] #獲取文件名
print(filename)
time.sleep(1)以上是“Python Selenium如何爬取每日天氣”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
