scrapy在settings中添加redis，可以实现断点续传

DUPEFILTER_CLASS='scrapy_redis.dupefilter.RFPDupeFilter'
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
SCHEDULER_PERSIST = True
REDIS_URL = 'redis://127.0.0.1:6379'
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/duanlinxiao/p/10826702.html