這篇文章給大家分享的是有關(guān)python怎么重寫start_requests方法的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

成都創(chuàng)新互聯(lián)專注于寧津網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供寧津營銷型網(wǎng)站建設(shè)，寧津網(wǎng)站制作、寧津網(wǎng)頁設(shè)計、寧津網(wǎng)站官網(wǎng)定制、成都小程序開發(fā)服務(wù)，打造寧津網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供寧津網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

說明

1、在scrapy中，start_url是由start_requests處理的，通過重寫這種方法，start_url可以攜帶請求頭信息。

2、cookie不能放在scrapy中的headers中，在構(gòu)建請求時有專門的cookies參數(shù)。

可以接收字典形式的cookie。可能需要在settings中設(shè)置ROBOTS協(xié)議和USER_AGENT。

實例

import scrapy
 
 
class Git1Spider(scrapy.Spider):
    name = 'git1'
    allowed_domains = ['github.com']
    start_urls = ['https://github.com/GitLqr']
 
    def start_requests(self):
        """
        重寫start_requests，發(fā)送攜帶cookies的Request。
        默認start_requests只是普通的get請求，不會攜帶自定義的頭信息
        """
        url = self.start_urls[0]
 
        temp = '_octo=GH1.1.1045146750.1615451260; _device_id=cd8d64981fcb3fd4ba7f587873e97804'
        # 把cookies字符串轉(zhuǎn)成字典
        cookies = {data.split('=')[0]: data.split('=')[-1] for data in temp.split('; ')}
 
        yield scrapy.Request(
            url=url,
            callback=self.parse,
            cookies=cookies
        )
 
    def parse(self, response):
        print(response.xpath('/html/head/title/text()').extract_first())

感謝各位的閱讀！關(guān)于“python怎么重寫start_requests方法”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！