今天小編給大家分享一下python scrapy簡單模擬登錄的代碼怎么寫的相關(guān)知識點，內(nèi)容詳細，邏輯清晰，相信大部分人都還太了解這方面的知識，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來了解一下吧。

創(chuàng)新互聯(lián)建站專注于姚安企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站開發(fā),商城網(wǎng)站建設(shè)。姚安網(wǎng)站建設(shè)公司,為姚安等地區(qū)提供建站服務(wù)。全流程按需制作，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)建站專業(yè)和態(tài)度為您提供的服務(wù)

1、requests模塊。直接攜帶cookies請求頁面。

找到url，發(fā)送post請求存儲cookie。

2、selenium(瀏覽器自動處理cookie)。

找到相應(yīng)的input標簽，輸入文本，點擊登錄。

3、scrapy直接帶cookies。

找到url，發(fā)送post請求存儲cookie。

# -*- coding: utf-8 -*-
import scrapy
import re
 
class GithubLoginSpider(scrapy.Spider):
    name = "github_login"
    allowed_domains = ["github.com"]
    start_urls = ["https://github.com/login"]
 
    def parse(self, response): # 發(fā)送Post請求獲取Cookies
        authenticity_token = response.xpath("http://input[@name="authenticity_token"]/@value").extract_first()
        utf8 = response.xpath("http://input[@name="utf8"]/@value").extract_first()
        commit = response.xpath("http://input[@name="commit"]/@value").extract_first()
        form_data = {
            "login": "pengjunlee@163.com",
            "password": "123456",
            "webauthn-support": "supported",
            "authenticity_token": authenticity_token,
            "utf8": utf8,
            "commit": commit}
        yield scrapy.FormRequest("https://github.com/session", formdata=form_data, callback=self.after_login)
 
    def after_login(self, response): # 驗證是否請求成功
        print(re.findall("Learn Git and GitHub without any code!", response.body.decode()))

知識點擴展：

parse_login方法是提交完表單后callback回調(diào)函數(shù)指定要執(zhí)行的方法，為了驗證是否成功。這里我們直接在response中搜索Welcome Liu這個字眼就證明登錄成功。

這個好理解，重點是yield from super().start_resquests()，這個代表著如果一旦登錄成功后，就直接帶著登錄成功后Cookie值，方法start_urls里面的地址。

這樣的話登錄成功后的response可以直接在parse里面寫。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request


class ExampleLoginSpider(scrapy.Spider):
    name = "login_"
    allowed_domains = ["example.webscraping.com"]
    start_urls = ["http://example.webscraping.com/user/profile"]
    login_url = "http://example.webscraping.com/places/default/user/login"

    def parse(self, response):
        print(response.text)

    def start_requests(self):
        yield scrapy.Request(self.login_url,callback=self.login)

    def login(self,response):
        formdata = {
            "email":"liushuo@webscraping.com","password":"12345678"}
        yield FormRequest.from_response(response,formdata=formdata,
                                        callback=self.parse_login)
    def parse_login(self,response):
        # print(">>>>>>>>"+response.text)
        if "Welcome Liu" in response.text:
            yield from super().start_requests()

以上就是“python scrapy簡單模擬登錄的代碼怎么寫”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會為大家更新不同的知識，如果還想學(xué)習(xí)更多的知識，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。