這篇文章主要介紹“怎么利用python3爬取漫畫島”，在日常操作中，相信很多人在怎么利用python3爬取漫畫島問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么利用python3爬取漫畫島”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

創(chuàng)新互聯(lián)公司服務項目包括蘇尼特左網(wǎng)站建設、蘇尼特左網(wǎng)站制作、蘇尼特左網(wǎng)頁制作以及蘇尼特左網(wǎng)絡營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，蘇尼特左網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務的客戶以成都為中心已經(jīng)輻射到蘇尼特左省份的部分城市，未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任！

一、效果展示

首先是我們想要爬取的漫畫網(wǎng)頁：http://www.manhuadao.cn/

網(wǎng)頁截圖：

其次是爬取下來的效果：

每一回的文件夾里面是這樣的： (因為網(wǎng)站圖片的問題...所以就成了這個鬼樣子)

二、分析原理

1、準備：需要vscode或者其他能夠編譯運行python的軟件，推薦python版本3.X ，否則有可能出現(xiàn)編譯問題。

下載所需模塊：win+R進入命令行，輸入pipinstall <模塊名>即可下載。例如：

pip install beautifulsoup4

2、原理： 模擬瀏覽器點擊->打開漫畫網(wǎng)頁鏈接->獲取網(wǎng)頁源碼->定位每一章漫畫的鏈接->模擬點擊->獲取圖片頁面源碼->定位圖片鏈接->下載圖片

三、實際操作（代碼附在最后）

1、引入模塊 （這里不再詳述）

2、模擬瀏覽器訪問網(wǎng)頁

(1)、這里我們打開漫畫的目錄頁，如下： url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ，此鏈接就是目錄頁鏈接。

(2)、按F12打開此網(wǎng)頁的源碼（谷歌瀏覽器），選中上方NetWork，Ctrl+R刷新。

(3)、找到加載網(wǎng)頁的源碼文件，點擊Headers，如下圖： StatusCode表示網(wǎng)頁返回的代碼，值為200時表示訪問成功。

(4)、headers中的參數(shù)為下面紅框User-Agent。

response = requests.get(url=url, headers=headers)  # 模擬訪問網(wǎng)頁
print(response)  # 此處應輸出   
print(response.text)   # 輸出網(wǎng)頁源碼

兩個輸出分別輸出：

  輸出返回200表示訪問成功。

 （節(jié)選）

(5)、將html代碼存入 data 中，xpath定位每一章鏈接。點擊上方Element，點擊：

將鼠標移至目錄處：

右邊代碼區(qū)域出現(xiàn)每一章鏈接：

data = etree.HTML(response.text)
# tp = data.xpath("http://ul[@class="read-chapter"]/li/a[@class="active"]/@href")
tp = data.xpath("http://*[@class="yesReader"]/@href")
zhang_list = tp   # tp為鏈接列表

輸出zhang_list，結(jié)果如下：

(6)、獲取圖片鏈接（獲取方式同上一步）

點進第一章，同上一步，尋找到圖片鏈接：

i=1
for next_zhang in zhang_list:    # 在章節(jié)列表中循環(huán)
    i=i+1
    j=0
    hui_url = r_url+next_zhang
    name1 = "第"+str(i)+"回"
    file = "C:/Users/wangyueke/Desktop/"+keyword+"/{}/".format(name1)   # 創(chuàng)建文件夾
    if not os.path.exists(file):
        os.makedirs(file)
        print("創(chuàng)建文件夾：", file)
    response = requests.get(url=hui_url, headers=headers)    # 模擬訪問每一章鏈接
    data = etree.HTML(response.text)
    # tp = data.xpath("http://div[@class="no-pic"]//img/@src")
    tp = data.xpath("http://div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src")   # 定位
    ye_list = tp

(7)、下載圖片

for k in ye_list:    # 在每一章的圖片鏈接列表中循環(huán)
    download_url = tp[j]
    print(download_url)
    j=j+1
    file_name="第"+str(j)+"頁"
    response = requests.get(url=download_url)    # 模擬訪問圖片鏈接
    with open(file+file_name+".jpg","wb") as f:
        f.write(response.content)

五、代碼

"""
用于爬取非人哉漫畫
目標網(wǎng)址：http://www.manhuadao.cn/
開始時間：2019/8/14 20:01:26
完成時間：2019/8/15 11:04:56
作者：kong_gu
"""
import requests
import json
import time
import os
from lxml import etree
from bs4 import BeautifulSoup


def main():
    keyword="非人哉"
    file = "E:/{}".format(keyword)
    if not os.path.exists(file):
        os.mkdir(file)
        print("創(chuàng)建文件夾：",file)
    r_url="http://www.manhuadao.cn/"
    url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"
    headers = {  # 模擬瀏覽器訪問網(wǎng)頁
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
    response = requests.get(url=url, headers=headers)
    # print(response.text)   # 輸出網(wǎng)頁源碼
    data = etree.HTML(response.text)
    # tp = data.xpath("http://ul[@class="read-chapter"]/li/a[@class="active"]/@href")
    tp = data.xpath("http://*[@class="yesReader"]/@href")
    zhang_list = tp
    i=1
    for next_zhang in zhang_list:
        i=i+1
        j=0
        hui_url = r_url+next_zhang
        name1 = "第"+str(i)+"回"
        file = "C:/Users/wangyueke/Desktop/"+keyword+"/{}/".format(name1)    # 這里需要自己設置路徑
        if not os.path.exists(file):
            os.makedirs(file)
            print("創(chuàng)建文件夾：", file)
        response = requests.get(url=hui_url, headers=headers)
        data = etree.HTML(response.text)
        # tp = data.xpath("http://div[@class="no-pic"]//img/@src")
        tp = data.xpath("http://div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src")
        ye_list = tp
        for k in ye_list:
            download_url = tp[j]
            print(download_url)
            j=j+1
            file_name="第"+str(j)+"頁"
            response = requests.get(url=download_url)
            with open(file+file_name+".jpg","wb") as f:
                f.write(response.content)


if __name__ == "__main__":
    main()

到此，關于“怎么利用python3爬取漫畫島”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
網(wǎng)站題目：怎么利用python3爬取漫畫島
分享路徑：http://weahome.cn/article/iesiho.html