celery异步任务框架

目录

Celery

一、官方

二、Celery异步任务框架Celery架构图消息中间件任务执行单元任务结果存储

三、使用场景

四、Celery的安装配置

五、两种celery任务结构：提倡用包管理，结构更清晰

七、Celery执行异步任务包架构封装

八、基本使用基本配置添加任务add_添加立即、延迟任务get_获取结果

九、高级使用定时任务配置(循环的)_

十、django中使用(更新轮播图案例)redis的配置接口缓存启动服务

Celery官网：

Celery官方文档英文版：

Celery官方文档中文版：

"""1）可以不依赖任何服务器，通过自身命令，启动服务(内部支持socket)2）celery服务为为其他项目服务提供异步解决任务需求的注：会有两个服务同时运行，一个是项目服务，一个是celery服务，项目服务将需要异步处理的任务交给celery服务，celery就会在需要时异步完成项目的需求人是一个独立运行的服务|医院也是一个独立运行的服务正常情况下，人可以完成所有健康情况的动作，不需要医院的参与；但当人生病时，就会被医院接收，解决人生病问题人生病的处理方案交给医院来解决，所有人不生病时，医院独立运行，人生病时，医院就来解决人生病的需求"""

Celery的架构由三部分组成，消息中间件（messagebroker）、任务执行单元（worker）和任务执行结果存储（taskresultstore）组成。

Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ,Redis等等

Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。

Taskresultstore用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP,redis等

异步执行：解决耗时任务

延迟执行：解决延迟任务

定时执行：解决周期(周期)任务

pipinstallcelery

消息中间件：RabbitMQ/Redis

app=Celery('任务名',broker='xxx',back='xxx')

1）终端切换到该模块所在文件夹位置：scripts注：windows系统需要eventlet支持，Linux与MacOS直接执行：celeryworker-A模块名-linfo如果Celery对象:Celery()是放在一个包下的2）执行启动worker的命令：celeryworker-A包名-linfo-Peventlet注：包名随意

放在根目录下就行：

project├──celery_task包文件│├──所有任务函数├──add_获取结果

2）启动celery(app)服务：命令：celeryworker-Acelery_task-linfopip3installeventlet3）添加任务：手动添加，要自定义添加任务的脚本，右键执行脚本无密码broker='redis://127.0.0.1:6379/1'back='redis://127.0.0.1:6379/2'delay：添加立即任务eta：执行的utc时间添加延迟任务fromcelery_,timedelta当前时间utc_ctime=(())秒returnutc_ctime+time_delay天defeta_days(days):ctime=()当前UTC时间time_delay=timedelta(days=days)当前时间+往后延迟的天_async(args=(20,5),eta=eta_second(10))1天后执行

fromcelery_='21325a40-9d32-44b5-a701-9a31cc3c74b5'if__name__=='__main__':async=AsyncResult(id=id,app=app)():result=()print(result)():print('任务失败')=='PENDING':print('任务等待中被执行')=='RETRY':print('任务异常后正在重试')=='STARTED':print('任务已经开始被执行')

特点：

添加任务的终端关闭之后，停止添加

celery服务端关闭后，把关闭之后未执行的任务都执行一遍，然后继续接收任务

"""celery框架django项目工作流程1）加载django配置环境2）创建Celery框架对象app，配置broker和back，得到的app就是worker3）给worker对应的app添加可处理的任务函数，用include配置给worker的app4）完成提供的任务的定时配置_schedule5）启动celery服务，运行worker，执行任务6）启动beat服务，运行beat，添加任务重点：由于采用了django的反射机制，使用所在的celery_task包必须放置项目的根目录下"""二、加载celery配置环境fromceleryimportCelerybroker='redis://:123@127.0.0.1:6379/1'back='redis://:123@127.0.0.1:6379/2'外面的包名和文件名，一般都是固定是否使用_utc=False定时任务名字'update_banner_cache':{'task':'celery__banner_list','args':(),'schedule':timedelta(seconds=10),'schedule':crontab(hour=8,day_of_week=1),'schedule':crontab(minute=0,day_of_week=1),拿不到request对象，所以头像的连接base_url要自己组装forbannerinbanner_list:banner['image']=''%banner['image']('banner_list',banner_list,86400)returnTrue

选择了IT，必定终身学习

作者：Jeff

出处：