蜂鳥網(wǎng)圖片--啰嗦兩句

前面的教程內(nèi)容量都比較大，今天寫一個相對簡單的，爬取的還是蜂鳥，依舊采用aiohttp 希望你喜歡
爬取頁面`https://tu.fengniao.com前面程還是基于學(xué)習(xí)的目的，為啥選擇蜂鳥，沒辦法，我瞎選的。

“專業(yè)、務(wù)實(shí)、高效、創(chuàng)新、把客戶的事當(dāng)成自己的事”是我們每一個人一直以來堅(jiān)持追求的企業(yè)文化。 創(chuàng)新互聯(lián)建站是您可以信賴的網(wǎng)站建設(shè)服務(wù)商、專業(yè)的互聯(lián)網(wǎng)服務(wù)提供商! 專注于做網(wǎng)站、成都做網(wǎng)站、軟件開發(fā)、設(shè)計(jì)服務(wù)業(yè)務(wù)。我們始終堅(jiān)持以客戶需求為導(dǎo)向，結(jié)合用戶體驗(yàn)與視覺傳達(dá)，提供有針對性的項(xiàng)目解決方案，提供專業(yè)性的建議，創(chuàng)新互聯(lián)建站將不斷地超越自我，追逐市場，引領(lǐng)市場！

一頓熟悉的操作之后，我找到了下面的鏈接
https://tu.fengniao.com/ajax/ajaxTuPicList.php?page=2&tagsId=15&action=getPicLists

這個鏈接返回的是JSON格式的數(shù)據(jù)

1. page =2頁碼，那么從1開始進(jìn)行循環(huán)就好了
2. tags=15 標(biāo)簽名稱，15是兒童，13是美女，6391是私房照，只能幫助你到這了，畢竟我這是專業(yè)博客 ヾ(?°?°?)??
3. action=getPicLists接口地址，不變的地方

數(shù)據(jù)有了，開爬吧

import aiohttp
import asyncio

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
           "X-Requested-With": "XMLHttpRequest",
           "Accept": "*/*"}

async def get_source(url):
    print("正在操作:{}".format(url))
    conn = aiohttp.TCPConnector(verify_ssl=False)  # 防止ssl報(bào)錯,其中一種寫法
    async with aiohttp.ClientSession(connector=conn) as session:  # 創(chuàng)建session
        async with session.get(url, headers=headers, timeout=10) as response:  # 獲得網(wǎng)絡(luò)請求
            if response.status == 200:  # 判斷返回的請求碼
                source = await response.text()  # 使用await關(guān)鍵字獲取返回結(jié)果
                print(source)
            else:
                print("網(wǎng)頁訪問失敗")

if __name__=="__main__":
        url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists"
        full_urllist= [url_format.format(i) for i in range(1,21)]
        event_loop = asyncio.get_event_loop()   #創(chuàng)建事件循環(huán)
        tasks = [get_source(url) for url in full_urllist]
        results = event_loop.run_until_complete(asyncio.wait(tasks))   #等待任務(wù)結(jié)束
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

上述代碼在執(zhí)行過程中發(fā)現(xiàn)，順發(fā)了20個請求，這樣子很容易就被人家判定為爬蟲，可能會被封IP或者賬號，我們需要對并發(fā)量進(jìn)行一下控制。
使Semaphore控制同時的并發(fā)量

import aiohttp
import asyncio
# 代碼在上面
sema = asyncio.Semaphore(3)
async def get_source(url):
    # 代碼在上面
    #######################
# 為避免爬蟲一次性請求次數(shù)太多，控制一下
async def x_get_source(url):
    with(await sema):
        await get_source(url)

if __name__=="__main__":
        url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists"
        full_urllist= [url_format.format(i) for i in range(1,21)]
        event_loop = asyncio.get_event_loop()   #創(chuàng)建事件循環(huán)
        tasks = [x_get_source(url) for url in full_urllist]
        results = event_loop.run_until_complete(asyncio.wait(tasks))   #等待任務(wù)結(jié)束

走一波代碼，出現(xiàn)下面的結(jié)果，就可以啦！

在補(bǔ)充上圖片下載的代碼

import aiohttp
import asyncio

import json

## 蜂鳥網(wǎng)圖片--代碼去上面找
async def get_source(url):
    print("正在操作:{}".format(url))
    conn = aiohttp.TCPConnector(verify_ssl=False)  # 防止ssl報(bào)錯,其中一種寫法
    async with aiohttp.ClientSession(connector=conn) as session:  # 創(chuàng)建session
        async with session.get(url, headers=headers, timeout=10) as response:  # 獲得網(wǎng)絡(luò)請求
            if response.status == 200:  # 判斷返回的請求碼
                source = await response.text()  # 使用await關(guān)鍵字獲取返回結(jié)果
                ############################################################
                data = json.loads(source)
                photos = data["photos"]["photo"]
                for p in photos:
                    img = p["src"].split('?')[0]
                    try:
                        async with session.get(img, headers=headers) as img_res:
                            imgcode = await img_res.read()
                            with open("photos/{}".format(img.split('/')[-1]), 'wb') as f:
                                f.write(imgcode)
                                f.close()
                    except Exception as e:
                        print(e)
                ############################################################
            else:
                print("網(wǎng)頁訪問失敗")

# 為避免爬蟲一次性請求次數(shù)太多，控制一下
async def x_get_source(url):
    with(await sema):
        await get_source(url)

if __name__=="__main__":
        #### 代碼去上面找
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

圖片下載成功，一個小爬蟲，我們又寫完了，美滋滋