這篇文章主要介紹了python分布式爬蟲中的celery框架如何搭建，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
celery典型的分布式任務(wù)隊列，常用于異步操作中，如tornado、Django的異步任務(wù)中，用celery設(shè)計分布式爬蟲系統(tǒng)，往往結(jié)合網(wǎng)絡(luò)框架，打造一個爬蟲任務(wù)接口，提供給其他人使用。
同時celery在定時任務(wù)方面有著優(yōu)勢，只需要在配置文件中設(shè)置一下，就可以定期執(zhí)行任務(wù)，不必自己寫定時操作。
celery使用消息中間件，而這個消息中間件，可以使用Redis也可以使用RabbitMQ，但他的調(diào)度不必?fù)?dān)心，已經(jīng)封裝。
主程序示例：
重慶分公司
重慶分公司
# -*- coding:utf-8 -*-
from celery import Celery
app = Celery("tasks")
app.config_from_object("celeryconfig") # 指定配置文件
@app.task
def taskA(x, y):
return x + y
@app.task
def taskB(x, y, z):
return x + y + z
@app.task
def add(x, y):
return x + y感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python分布式爬蟲中的celery框架如何搭建內(nèi)容對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司，，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問題就找創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司，，詳細(xì)的解決方法等著你來學(xué)習(xí)!
