創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)服務(wù)緊隨時(shí)代發(fā)展步伐，進(jìn)行技術(shù)革新和技術(shù)進(jìn)步，經(jīng)過十多年的發(fā)展和積累，已經(jīng)匯集了一批資深網(wǎng)站策劃師、設(shè)計(jì)師、專業(yè)的網(wǎng)站實(shí)施團(tuán)隊(duì)以及高素質(zhì)售后服務(wù)人員，并且完全形成了一套成熟的業(yè)務(wù)流程，能夠完全依照客戶要求對(duì)網(wǎng)站進(jìn)行網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站設(shè)計(jì)、建設(shè)、維護(hù)、更新和改版，實(shí)現(xiàn)客戶網(wǎng)站對(duì)外宣傳展示的首要目的，并為客戶企業(yè)品牌互聯(lián)網(wǎng)化提供全面的解決方案。

Python進(jìn)行Scrapy-redis分布式爬取的方法？這個(gè)問題可能是我們?nèi)粘W(xué)習(xí)或工作經(jīng)常見到的。希望通過這個(gè)問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純?nèi)容，讓我們一起來看看吧！

平時(shí)爬蟲一般都使用Scrapy框架，通常都是在一臺(tái)機(jī)器上跑，爬取速度也不能達(dá)到預(yù)期效果，數(shù)據(jù)量小，而且很容易就會(huì)被封禁IP或者賬號(hào)，這時(shí)候可以使用代理IP或者登錄方式爬，然而代理IP很多時(shí)候都很雞肋，除非使用付費(fèi)版IP，但是和真實(shí)IP差別很大。這時(shí)候便有了Scrapy-redis分布式爬蟲框架，它基于Scrapy改造，把Scrapy的調(diào)度器（scheduler）換成了Scrapy-redis的調(diào)度器，可以輕松達(dá)到目的，利用多臺(tái)服務(wù)器來爬取數(shù)據(jù)，而且還可以自動(dòng)去重，效率高。爬取的數(shù)據(jù)默認(rèn)保存在redis緩存中，速度很快。

Scrapy工作原理：

Scrapy-redis工作原理：

中間的就是調(diào)度器

豆瓣電影簡(jiǎn)易分布式爬蟲

我這里直接使用start_urls的方式，數(shù)據(jù)存入到Mysql中

class DoubanSpider(RedisSpider):
    name = 'douban'
    redis_key = 'douban:start_urls'
    allowed_domains = ['douban.com']
    def start_requests(self):
        urls = get_urls()
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
    def parse(self, response):
        # item_loader = MovieItemLoader(item=MovieItem, response=response)
        #
        # item_loader.add_xpath('title', '')
        item = MovieItem()
        print(response.url)
        item['movieId'] = int(response.url.split('subject/')[1].replace('/', ''))
        item['title'] = response.xpath('//h2/span/text()').extract()[0]
        item['year'] = response.xpath('//h2/span/text()').extract()[1].split('(')[1].split(')')[0] or '2019'
        item['url'] = response.url
        item['cover'] = response.xpath('//a[@class="nbgnbg"]/img/@src').extract()[0]
        try:
            item['director'] = response.xpath('//a[@rel="v:directedBy"]/text()').extract()[0] or '無'
        except Exception:
            item['director'] = '暫無'
        item['major'] = '/'.join(response.xpath('//a[@rel="v:starring"]/text()').extract())
        item['category'] = ','.join(response.xpath('//span[@property="v:genre"]/text()').extract())
        item['time'] = ','.join(response.xpath('//span[@property="v:initialReleaseDate"]/text()').extract())
        try:
            item['duration'] = response.xpath('//span[@property="v:runtime"]/text()').extract()[0]
        except Exception:
            item['duration'] = '暫無'
        item['score'] = response.xpath('//strong[@property="v:average"]/text()').extract()[0]
        item['comment_nums'] = response.xpath('//span[@property="v:votes"]/text()').extract()[0] or 0
        item['desc'] = response.xpath('//span[@property="v:summary"]/text()').extract()[0].strip()
        actor_list = response.xpath('//ul[@class="celebrities-list from-subject __oneline"]/li/a/@title').extract()
        actor_img_list = response.xpath('//ul[@class="celebrities-list from-subject __oneline"]/li/a/div/@style').
        extract()
        actor_img_list = [i.split('url(')[1].replace(')', '') for i in actor_img_list]
        item['actor_name_list'] = '----'.join(actor_list)
        item['actor_img_list'] = '----'.join(actor_img_list)
        yield item

settings.py文件

BOT_NAME = 'MovieSpider'
SPIDER_MODULES = ['MovieSpider.spiders']
NEWSPIDER_MODULE = 'MovieSpider.spiders'
# REDIS_HOST = '127.0.0.1'
# REDIS_PORT = 6379
REDIS_URL = 'redis://username:password@xxx.xxx.xxx.xxx:6379'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# Ensure all spiders share same duplicates filter through redis.
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300,
    'MovieSpider.pipelines.MysqlPipeline': 200,
}

這里只是為了多臺(tái)服務(wù)器一起爬取，沒有手動(dòng)在redis中推入起始的URL

此時(shí)將爬蟲項(xiàng)目上傳到其他服務(wù)器上，一起開始

效果如下：

感謝各位的閱讀！看完上述內(nèi)容，你們對(duì)Python進(jìn)行Scrapy-redis分布式爬取的方法大概了解了嗎？希望文章內(nèi)容對(duì)大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

文章題目：Python進(jìn)行Scrapy-redis分布式爬取的方法-創(chuàng)新互聯(lián)
瀏覽路徑：http://weahome.cn/article/djphid.html