去重配置和调度器配置代码优先级

去重的配置： DUPEFILTER_KEY = 'dupefilter:%(timestamp)s' DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 调度器配置： SCHEDULER = "scrapy_redis.schedul
posted @ 2020-06-21 19:12  高汤  阅读(340)  评论(0)  编辑  收藏  举报