這篇文章給大家介紹怎么在scrapy中安裝redis，內(nèi)容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

成都創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)青原,十載網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):13518219792

在定向爬蟲的制作過程中，使用分布式爬取技術(shù)可以顯著提高爬取效率。而 Redis 配合 Scrapy 是實現(xiàn)分布式爬取的基礎(chǔ)。

Redis 是一個高性能的 Key-Value 數(shù)據(jù)庫，它把數(shù)據(jù)保存在內(nèi)存里。因此可以有非常快的數(shù)據(jù)讀寫速度。

scrapy-redis 的安裝

pip install scrapy-redis
easy_install scrapy-redis

版本推薦

stable 3.0.2

運行redis

redis-server redis.conf

清空緩存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情況可以省去
REDIS_HOST = '127.0.0.1' # 也可以根據(jù)情況改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 繼承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

關(guān)于怎么在scrapy中安裝redis就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

當前題目：怎么在scrapy中安裝redis-創(chuàng)新互聯(lián)
本文地址：http://weahome.cn/article/coogie.html