合并抓取数据避免重复计数

大多数抓取任务不会产生一个干净的数据集。它们会产生多个重叠的数据集：同一关键词运行的抓取结果、每晚抓取的分类页面、指向列出相同产品的两个抓取器。将它们堆叠并计数，会导致某些内容被重复计算。修复方法是无聊的，这可能是为什么它被跳过：对几个重叠的数据集进行合并，选择一个关键字段，对每个关键字段保留一行。