Celery 任务积压但部分 Worker 空闲:worker_prefetch_multiplier 引发分配不均的排查与治理
适用场景 使用 Celery + Redis/RabbitMQ 承担异步任务。队列中仍有大量待执行任务,但监控显示少数 Worker 忙碌、其余 Worker 空闲;或者短任务被长任务“压住”,整体延迟持续升高。本文以默认的 prefork 并发池和 RabbitMQ 为例,Redis broker 的排查思路相同。
Tag
包含这个标签的文章。
适用场景 使用 Celery + Redis/RabbitMQ 承担异步任务。队列中仍有大量待执行任务,但监控显示少数 Worker 忙碌、其余 Worker 空闲;或者短任务被长任务“压住”,整体延迟持续升高。本文以默认的 prefork 并发池和 RabbitMQ 为例,Redis broker 的排查思路相同。
适用场景 Linux 服务器上的 Java、Python、Go 或 Node.js 服务由 systemd 托管。发布后或依赖异常时,进程在几秒内连续退出;即使问题随后已修复,执行 systemctl restart 仍失败,状态显示为 failed,日志里出现 Start request repeated too q
适用场景 这篇文章适用于使用 Python httpx 调用内部 HTTP 接口、第三方 API、网关或微服务时,线上偶发出现请求超时、任务堆积、接口吞吐下降的问题。常见场景包括: 定时任务批量调用接口; FastAPI、Django、Celery worker 中复用 httpx.Client 或 httpx.Asy
适用场景 在 Codex 里配置了一个定时任务,希望它每天自动生成内容,并调用线上接口完成发布。但任务执行时发现:手动运行脚本可以访问线上接口,定时任务运行时却被沙箱拦截,表现为无法访问目标域名或提示网络权限不足。 这个问题很容易误判成“没有互联网权限”,但实际根因往往不是互联网不可用,而是定时任务使用的命令没有命中已