小編給大家分享一下Python中scrapy和scrapy-redis有哪些區(qū)別，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)建站是專業(yè)的永清網(wǎng)站建設(shè)公司，永清接單;提供網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行永清網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!

scrapy 是一個Python爬蟲框架，爬取效率極高，具有高度定制性，但是不支持分布式。選擇redis 數(shù)據(jù)庫因為 redis支持主從同步，而且數(shù)據(jù)都是緩存在內(nèi)存中的。

scrapy和scrapy-redis的區(qū)別

      scrapy 是一個Python爬蟲框架，爬取效率極高，具有高度定制性，但是不支持分布式。而 scrapy-redis 一套基于redis數(shù)據(jù)庫、運行在 scrapy 框架之上的組件，可以讓 scrapy 支持分布式策略，Slaver端共享 Master 端 redis 數(shù)據(jù)庫里的 item 隊列、請求隊列和請求指集合。

為什么選擇redis數(shù)據(jù)庫？

選擇redis 數(shù)據(jù)庫因為 redis支持主從同步，而且數(shù)據(jù)都是緩存在內(nèi)存中的，所以基于redis 的分布式爬蟲，對請求和數(shù)據(jù)的高頻讀取效率非常高。

以上是“Python中scrapy和scrapy-redis有哪些區(qū)別”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！