目標(biāo)
嗯，我們知道搜索或?yàn)g覽網(wǎng)站時(shí)會(huì)有很多精美、漂亮的圖片。
我們下載的時(shí)候，得鼠標(biāo)一個(gè)個(gè)下載，而且還翻頁(yè)。
那么，有沒有一種方法，可以使用非人工方式自動(dòng)識(shí)別并下載圖片。美美噠。
那么請(qǐng)使用python語(yǔ)言，構(gòu)建一個(gè)抓取和下載網(wǎng)頁(yè)圖片的爬蟲。
當(dāng)然為了提高效率，我們同時(shí)采用多線程并行方式。
思路分析
Python有很多的第三方庫(kù)，可以幫助我們實(shí)現(xiàn)各種各樣的功能。問題在于，我們弄清楚我們需要什么：
1）http請(qǐng)求庫(kù)，根據(jù)網(wǎng)站地址可以獲取網(wǎng)頁(yè)源代碼。甚至可以下載圖片寫入磁盤。
2）解析網(wǎng)頁(yè)源代碼，識(shí)別圖片連接地址。比如正則表達(dá)式，或者簡(jiǎn)易的第三方庫(kù)。
3）支持構(gòu)建多線程或線程池。
4）如果可能，需要偽造成瀏覽器，或繞過(guò)網(wǎng)站校驗(yàn)。（嗯，網(wǎng)站有可能會(huì)防著爬蟲 ;-)）
5）如果可能，也需要自動(dòng)創(chuàng)建目錄，隨機(jī)數(shù)、日期時(shí)間等相關(guān)內(nèi)容。
如此，我們開始搞事情。O(∩_∩)O~
環(huán)境配置
操作系統(tǒng)：windows 或 linux 皆可
Python版本：Python3.6 ( not Python 2.x 哦)
第三方庫(kù)
urllib.request
threading 或者 concurrent.futures 多線程或線程池（python3.2+）
re 正則表達(dá)式內(nèi)置模塊
os 操作系統(tǒng)內(nèi)置模塊
編碼過(guò)程
我們分解一下過(guò)程。完整源代碼在博文最終提供。
偽裝為瀏覽器
重慶分公司
重慶分公司
import urllib.request
# ------ 偽裝為瀏覽器 ---
def makeOpener(head={
'Connection': 'Keep-Alive',
'Accept': 'text/html, application/xhtml+xml, */*',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Connection': 'keep-alive',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0'
}):
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
header = []
for key, value in head.items():
elem = (key, value)
header.append(elem)
opener.addheaders = header
return opener
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
