這篇文章將為大家詳細講解有關(guān)scrapy-redis在python分布式爬蟲中怎么用，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)自2013年起，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都網(wǎng)站設(shè)計、網(wǎng)站制作網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元萬榮做網(wǎng)站,已為上家服務(wù),為萬榮各地企業(yè)和個人服務(wù),聯(lián)系電話:13518219792

在setting.py中修改和添加的內(nèi)容

#  把scrapy中默認的去重組件替換為scrapy-redis中的去重組件
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 
#  把scrapy中默認的調(diào)度器替換成scrapy-redis中的調(diào)度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
 
#  任務(wù)持久化
SCHEDULER_PERSIST = True
 
#  添加scrapy-redis管道
ITEM_PIPELINES = {
    # 'guoke.pipelines.GuokePipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 400,
}
 
# 添加redis數(shù)據(jù)庫的連接URL
# REDIS_URL = 'redis://127.0.0.1:6379'
 
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_PARAMS['password'] = '12345'

wenda.py添加的內(nèi)容

from scrapy_redis.spiders import RedisSpider
# class WendaSpider(scrapy.Spider):
# 繼承RedisSpoder類
class WendaSpider(RedisSpider):
    name = 'wenda'
    allowed_domains = ['guokr.com']
    #添加redis庫，當redis中沒有這個鍵的時候，程序會處于監(jiān)聽等待狀態(tài)
    redis_key = 'python'

關(guān)于scrapy-redis在python分布式爬蟲中怎么用就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

網(wǎng)站題目：scrapy-redis在python分布式爬蟲中怎么用-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://weahome.cn/article/heoph.html