同一台机器上开多个窗口,最容易被忽略的是网络这一层。处理器和内存有任务管理器盯着,代理IP却没人管,四个窗口共用同一条线路,跑起来互相拖慢,出了问题也分不清是谁的。按窗口分线路不是什么难事,难在顺序,顺序错了后面得拆了重来。
四个窗口同时用同一个地址,在网络层面等于还是一个窗口。
分完之后怎么确认每个窗口走的是自己的线路
给每个窗口各打开一次查地址的页面,结果互不相同才算分对。两个窗口显示同一个地址,说明其中一个读到了全局设置,改完还要重启程序才生效。
先定用途,再定条数
窗口的用途决定了它对线路的要求。做长期挂着的任务,中途断线重连的代价大,这类窗口值得单独占一条线路;只跑短批量的窗口,跑完就退,几条共用也能接受。先把十来个窗口按这两类分开,再决定买几条代理IP线路,比先买线再往窗口上摊要省得多,也不容易买到用不上的规格。
用途一样的窗口也要看任务量。同样是一次查询,有的窗口一分钟发几次请求,有的十分钟才动一次,这两种对线路的压力差得远。
用途一样也要拆开
判断两个窗口能不能共用一条线路,看的是它们的高峰时间是否重叠,跟做的是不是同一类事关系不大。两个窗口都集中在晚上八点到十点发力,共用的那条线路在那个时段必然排队,白天再怎么闲也补不回来。
错开高峰,比多买一条线便宜。
配置落地的顺序是:先给每个窗口改客户端里的代理IP,改完立刻验一次,验过再改下一个。四个窗口一起改,出问题之后不知道是哪一个没生效,只能全部重来。验的时候看两样,一看地址是不是独立,二看这条线路有没有在别处被别的程序占着。两样都过,这个窗口才算配置完成,可以进下一个。
配置落地的顺序
改完先验一条
窗口多于四条的时候,建议先配两条做对照,跑一天看看两条线路的失败率差多少。差距明显,说明线路质量不齐,后面配的时候要挑;差距很小,说明这套分法本身够用,按原计划铺开就行。
顺序理顺之后,剩下的就是维护。每加一个窗口,先问它该跟谁共用,再问那条线路还有没有余量。这两个问题答得出来,配置就不会乱。
