同样一类场景,每天十条和每天十万条,配置思路完全不是一回事。使用代理IP时,小规模可以靠人工盯,规模上去之后必须靠机制。使用代理IP时先看清规模跨度,再决定准备到什么程度,避免小场景背着一套重装备,也避免大场景用着跟不上趟的配置。
规模会改变什么
会改变容错的空间。使用代理IP时,十条里坏一条还能补,十万条里坏百分之三就是三千条,补起来很吃力。使用代理IP时按规模倒推可接受的失败比例,准备标准自然就有了,不必照搬别人的经验,也不会准备过度,心里也有数。
规模一变,容错的空间就跟着变。使用代理IP时,小规模可以人工兜底,规模上去只能靠机制。使用代理IP时按规模倒推准备标准,既不浪费也不至于崩盘。
- 小规模:可人工兜底
- 中等规模:需要自动重试
- 大规模:需要分层与限流
- 极大规模:需要持续监控
规模上台阶要重做哪些准备
规模不是越大越难,而是越需要提前设计。使用代理IP时,规模上来之后再补机制,往往要停掉任务重做。使用代理IP时在起步阶段就把结构留出扩展余地,后面的增长就不会变成一次大改。
规模判断也要留出余地。使用代理IP时,只按当下的量准备,往往经不住一次明显增长,预留一点反而更稳。
规模跨度也要看峰值。使用代理IP时,平时几百条、偶尔几万条的场景,最吃紧的恰恰是峰值那几天。
规模什么时候重估
规模会往哪个方向走也要判断。使用代理IP时,预期会持续增长的就按增长的样子准备,长期平稳的就按当下准备,两种判断对应的投入差别不小,早点想清楚可以少走弯路。
