任务排进队列之后，理想状态是进一个跑一个。实际常常是攒了一批，队列越来越长。这时候线路怎么分，直接决定了队列是慢慢消化还是越堆越高。
积压时最先看什么
先看积压的原因，是任务变多了，还是每条线路跑得慢了。这两种情况的处理办法不一样。任务变多，要加的是线路数量；线路变慢，要查的是线路本身的状态。把两种混在一起，加了一批资源，队列还是长，就容易判断错方向。
怎么分清是哪一类
判断方法不复杂：看单位时间内完成的任务数和线路的占用情况。线路大部分时间在忙，完成数却没上去，说明是线路那一侧的问题。
线路时忙时闲，说明任务没喂满，是队列这一侧的问题。代理IP池的占用情况，是这类判断里最直接的一个指标。
- 线路一直忙、产出低
- 问题在线路本身，先换一批试
- 线路时忙时闲
- 任务分配不均，调整调度顺序
- 只有个别线路异常
- 把这几条先摘出去，别拖累整体
- 整体都不忙但队列长
- 检查调度程序是否在等某个前置条件
队列积压时最忌讳的是不断加资源却不换思路。同等规模的线路，调度顺序一变，消化速度可能差出一截。
顺序怎么排
排在前面的一般是耗时短、成功率高、对时间敏感的任务。耗时长的放后面，避免少数几个大任务长期占着线路，让后面的小任务一直等。成功率高是相对的，如果某类任务一直失败，把它排前面只会浪费线路，不如先停下来查原因。
- 耗时短的排前面，大任务往后放
- 成功率低的任务先停下来查原因
- 对时间敏感的任务优先跑
- 同类任务尽量排在一起，减少切换
线路什么时候该退
判断一条代理IP线路该不该继续用，看它在最近一段时间里的表现。表现明显低于同批其他线路的，先降权，不要立刻停用，因为单次波动也可能是对方站点的问题。连着几个周期都低，再换掉。这样处理，避免因为一次偶发就把好好的线路扔了。
积压会自己消下去吗
短时积压会。任务高峰过去，队列会自己变短。如果连着几天都在涨，说明配置的规模确实不够，或者有任务反复失败在占位置。后者更常见，也更容易被忽略。
要不要给队列设上限
建议设。队列无限长的时候，一个持续失败的任务会不断重排，把位置一直占着。设了上限，超出的部分会落到待处理区，等下一轮再说，队列本身不会失控。
队列管理的核心是把「多」和「慢」分开看。加了线路还是慢，就回头查任务本身。代理IP池的调度顺序和线路状态，是解决积压的两个着手点，先动哪一个，取决于上面那个判断。
积压不可怕，可怕的是不判断原因就一直加资源。先看是量的问题还是速度的问题。