今天給大家分享三個(gè)極實(shí)用的Python爬蟲案例。

創(chuàng)新互聯(lián)長期為數(shù)千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為舟曲企業(yè)提供專業(yè)的網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作，舟曲網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

1、爬取網(wǎng)站美圖

爬取圖片是最常見的爬蟲入門項(xiàng)目，不復(fù)雜卻能很好地熟悉Python語法、掌握爬蟲思路。當(dāng)然有兩個(gè)點(diǎn)要注意：一、不要侵犯版權(quán)，二、要注意營養(yǎng)。

思路流程

第一步：獲取網(wǎng)址的response，分頁內(nèi)容，解析后提取圖集的地址。

第二步：獲取網(wǎng)址的response，圖集分頁，解析后提取圖片的下載地址。

第三步：下載圖片（也就是獲取二進(jìn)制內(nèi)容，然后在本地復(fù)刻一份）。

部分代碼

運(yùn)行結(jié)果

2、爬取微博數(shù)據(jù)

爬蟲的最大功能之一就是整合數(shù)據(jù)，能弄到更全面的信息，真正做好大數(shù)據(jù)的分析，在這個(gè)數(shù)據(jù)說話的年代，影響是決定性的。（注意別侵權(quán)）

思路流程

1、利用chrome瀏覽器，獲取自己的cookie。

2、獲取你要爬取的用戶的微博User_id

3、將獲得的兩項(xiàng)內(nèi)容填入到weibo.py中，替換代碼中的YOUR_USER_ID和#YOUR_COOKIE，運(yùn)行代碼。

部分代碼

用wordcloud等軟件生成詞云，它會(huì)根據(jù)信息的頻率、權(quán)重按比列顯示關(guān)鍵字的字體大小。

3、爬取王者榮耀全套皮膚

怎么獲取全套皮膚？用錢買，或者用爬蟲爬取下來~雖然后者不能穿。這個(gè)案例稍微復(fù)雜一點(diǎn)，但是一個(gè)非常值得學(xué)習(xí)的項(xiàng)目。

思路流程

首先進(jìn)入所有英雄列表，你會(huì)看到下圖

在這個(gè)網(wǎng)頁中包含了所有的英雄名稱。點(diǎn)擊其中一個(gè)英雄例如“百里守約”，進(jìn)去后如下圖：

△網(wǎng)址為https://pvp.qq.com/web201605/herodetail/196.shtml

網(wǎng)址中196.shtml以前的字符都是不變的，變化的只是196.shtml。而196是“百里守約”所對(duì)應(yīng)的數(shù)字，要想爬取圖片就應(yīng)該進(jìn)入每個(gè)英雄圖片所在的網(wǎng)址，而網(wǎng)址的關(guān)鍵就是對(duì)應(yīng)的數(shù)字。那么這些數(shù)字怎么找呢？

在所有英雄列表中，打開瀏覽器的開發(fā)者工具，刷新，找到一個(gè)json格式的文件，如圖所示：

這時(shí)就會(huì)看到所有英雄對(duì)應(yīng)的數(shù)字了。在上圖所示的Headers中可以找到該json文件對(duì)應(yīng)的網(wǎng)址形式。將其導(dǎo)入Python，把這些數(shù)字提取出來，然后模擬出所有英雄的網(wǎng)址即可

小節(jié)代碼：

下載圖片

現(xiàn)在可以進(jìn)入所有英雄的網(wǎng)址并爬取網(wǎng)址下的圖片了。進(jìn)入一個(gè)英雄的網(wǎng)址，打開開發(fā)者工具，在NetWork下刷新并找到英雄的皮膚圖片。如圖所示：

然后在Headers中查看該圖片的網(wǎng)址。會(huì)發(fā)現(xiàn)皮膚圖片是有規(guī)律的。我們可以用這樣的方式來模擬圖片網(wǎng)址

http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/'+str(v)+'/'+str(v)+'-bigskin-'+str(u)+'.jpg?，

在該網(wǎng)址中只有str(v)與str(u)是改變的（str( )是Python中的一個(gè)函數(shù)），str(v)是英雄對(duì)應(yīng)的數(shù)字，str(u)只是圖片編號(hào)，例如第一個(gè)圖片就是1，第二個(gè)就是2，第三個(gè)……而一個(gè)英雄的皮膚應(yīng)該不會(huì)超過12個(gè)（可以將這個(gè)值調(diào)到20等）。接著就是下載了。

下載代碼：

執(zhí)行完上面的代碼后只需要執(zhí)行main函數(shù)就行了

爬取下來的圖片是這樣，每個(gè)文件夾里面是該英雄對(duì)應(yīng)的圖片，如下圖：

人生苦短，Python當(dāng)歌！學(xué)習(xí)，其實(shí)是一個(gè)堅(jiān)持、分享、交流、提高的過程。學(xué)會(huì)交流，不懂就問，與更多優(yōu)秀的人一起成長，學(xué)習(xí)效果也會(huì)更加顯著。