如何用python简单的设计开发异步任务调度队列

发布网友发布时间：2022-04-14 04:26

共2个回答

懂视网时间：2022-04-14 08:47

原文地址：http://peter-hoffmann.com/2012/python-simple-queue-redis-queue.html

原文地址：python下使用redis构造一个简单的队列（翻译）, 感谢原作者分享。

热心网友时间：2022-04-14 05:55

首先，客户端可以直接扔任务到一个web services的接口上 –》 web api接收到任务后，会根据客户端的ip和时间戳做task_id,返回给客户，紧接着在redis里面标记这任务的状态。格式为 func,args,kwargs,timeout=xx,queue_level=xx,interval_time=xx
主服务端:
一个线程，会不停的扫描那个redis hash表，取出任务的interval_time后，进行取模，如果匹配成功，就会塞到 redis sorted set有续集和里面。
主线程，会不停的看看sorted set里面，有没有比自己实现小的任务，有的话，执行并删除。这里的执行是用多进程，为毛用多进程，因为线程很多时候是不好控制强制干掉的。每个任务都会用multiprocessing的方式去执行，去调用的时候，会多传进一个task_id，用来把相关的进度推送到redis里面。另外，fork进程后，我会得到一个pid，我会把pid和timeout的信息，存放到kill_hash里面。然后会不间断的查看，在指定的timeout内，这pid还在不在，如果还是存在，没有退出的话，说明他的任务不太正常，我们就可以在main()，里面干掉这些任务。
所谓的优先级就是个 High + middle +Low 的三合一链条而已，我每次都会坚持从高到低取任务，如果你的High级别的任务不断的话，那么我会一直干不了低级别的任务了。代码的体现是在redis sorted set这边，设立三个有序集合，我的worker队列会从high开始做……
那么如果想干掉一个任务是如何操作的，首先我需要在 kill_hash 里面标记任务应该赶紧干掉，在就是在task_hash里面把那个task_id干掉，好让他不会被持续的加入待执行的队列里面。