import requests
from lxml import etree
import re
import time
from multiprocessing import Pool  #導(dǎo)入multiprocessing庫(kù)的Pool模塊

headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'}

def get_info(url):
    html = requests.get(url,headers = headers)
    selector = etree.HTML(html.text)
    names = selector.xpath('//*[@class="article block untagged mb15 typs_hot"]/div[1]/a[2]/h3/text()')
    centents = re.findall('
.*?(.*?)',html.text,re.S) #第一個(gè)正則是為了匹配換行符
    laughs = re.findall('(\d+)',html.text,re.S)
    comments = re.findall('(\d+) 評(píng)論',html.text,re.S)
    for name,centent,laugh,comment in zip(names,centents,laughs,comments):
        info = {
            'name':name,
            'centent':centents,
            'laugh':laughs,
            'comment':comments
        }
        return (info)

if __name__ == '__main__':
    urls = ["https://www.qiushibaike.com/text/page/{}/".format(num)for num in range(0,14)]
    start_1 = time.time()
    for url in urls:
        get_info(url)
    end_1 = time.time()
    print('串行爬取花費(fèi)時(shí)間：' + str(end_1 - start_1))

    start_2 = time.time()
    pool = Pool(processes=2)          #創(chuàng)建進(jìn)程池，processes為設(shè)置的進(jìn)程個(gè)數(shù)
    pool.map(get_info,urls)  #利用map()函數(shù)運(yùn)行進(jìn)程，參數(shù)fuc為運(yùn)行的函數(shù)，iterable為迭代參數(shù)
    end_2 = time.time()
    print('2個(gè)進(jìn)程：' + str(end_2 - start_2))

    start_3 = time.time()
    pool = Pool(processes=4)  # 創(chuàng)建進(jìn)程池，processes為設(shè)置的進(jìn)程個(gè)數(shù)
    pool.map(get_info, urls)  # 利用map()函數(shù)運(yùn)行進(jìn)程，參數(shù)fuc為運(yùn)行的函數(shù)，iterable為迭代參數(shù)
    end_3 = time.time()
    print('4個(gè)進(jìn)程：' + str(end_3 - start_3))

輸出：

我們一直強(qiáng)調(diào)做網(wǎng)站、成都網(wǎng)站制作對(duì)于企業(yè)的重要性,如果您也覺(jué)得重要,那么就需要我們慎重對(duì)待,選擇一個(gè)安全靠譜的網(wǎng)站建設(shè)公司,企業(yè)網(wǎng)站我們建議是要么不做，要么就做好,讓網(wǎng)站能真正成為企業(yè)發(fā)展過(guò)程中的有力推手。專業(yè)網(wǎng)站建設(shè)公司不一定是大公司,成都創(chuàng)新互聯(lián)公司作為專業(yè)的網(wǎng)絡(luò)公司選擇我們就是放心。

D:\Python\venv\Scripts\python.exe D:/Python/venv/test12.py
串行爬取花費(fèi)時(shí)間：5.043288469314575
2個(gè)進(jìn)程：3.351191759109497
4個(gè)進(jìn)程：2.882164716720581

Process finished with exit code 0

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文題目：多進(jìn)程爬取-創(chuàng)新互聯(lián)
地址分享：http://weahome.cn/article/djises.html