采集结果落地前，IP链路的校验和去重怎么安排

采集跑完，数据落到库里之前还有一道关口：校验和去重。少了这一步，重复的、残缺的、格式不对的内容会一起进来，后面清理的代价比在这一步拦下来高得多。这一关和代理IP的调度分属两件事，各自独立。

校验查什么

校验分两层。一层是完整性，必填的字段在不在、内容长度是不是明显偏短。偏短往往说明页面只抓到一部分，可能是渲染没完成，也可能是请求被中途截断。另一层是一致性，同一类页面的字段能不能对上，比如列表页都该有的几项。对不上说明解析规则和页面结构有偏差。

这两层查完，大部分明显有问题的结果会被拦下。剩下的再进下一步。

去重按什么判断

去重要有一个稳的判断依据。用页面地址是最直接的，同一个地址抓了两次，留一份就行。有些场景里地址会带参数变化，同一个页面出现多个地址，这就需要先把参数规整一下再比。用内容摘要也可以，但要留意页面上的时间、访问量这类会变的部分，它们会让本来相同的页面看起来不一样。

按页面地址去重

最直接，注意先规整掉无关参数

按内容摘要去重

要排除会变动的字段，否则去重失效

按业务主键去重

适合有明确唯一标识的数据

失败和空结果怎么记

校验不通过的结果不要直接丢掉，先记下来。记的时候带上这次用的代理IP线路、什么时间跑的。攒够一批再看，会发现失败集中在少数几种情况下，针对性处理比逐个排查快。

还有一类结果要单独对待：页面能打开但内容为空。这类可能是页面本身就是这样，也可能是线路那一端没给到完整内容。区分办法是换一条线路再取一次，结果一样就说明页面本身如此。

这一步放在代理之外还是之内

校验和去重放在代理IP之外。这两步处理的是结果，和请求走哪条线路无关。分开的好处是，将来换线路或者调整采集规模，校验规则不用跟着改。两边解耦，各自迭代。

采集结果的入口把住，后面的数据质量才有保障。校验查完整和一致，去重按稳定依据比对，失败带上线路信息留档，这三件事做完，结果就能放心用了。把把关口往前放，后面省下的是清理的时间。