去重原理：
相当于是写了集合self.vister_urls=set()，把所有的url放进去当执行yield Requets的时候就会执行，进行判断，看是否这个访问的url在这个集合里面，如果在的话，就不添加进去了
from scrapy.utils.request import request_fingerprint##进行加密，url的唯一标识
每一次yield Request的时候，就会执行settings里面的去重
从from_settings开始执行，返回的时候，就执行下面的requets_seen方法
settings：
#执行自定义的去重规则
DUPEFILTER_CLASS='scrapyproject1.dupliter.Self_Dupliter'
spider：
#yield Request(url=page_url, callback=self.parse,dont_filter=True)##每一次requets的时候，就会执行去重的方法,不准询去重规则，如果要遵循的话，那么应该为false
要遵循去重规则，就要改成dont_filter=False，或者不添加，默认为False
原理分析：
from scrapy.dupefilter import BaseDupeFilter
from scrapy.utils.request import request_fingerprint##进行加密，url的唯一标识，会进行加密处理
'''
在scrapy里面有一个唯一标识
http://xxx.com/?k1=v1&k2=v2
http://xxx.com/?k2=v2&k1=v1
如果是md5进行加密的话，这两个url是不一样的，但是这两个url是相同的
但是scrapy里面有一个方法，可以辨别出两个相同的url出来
request_fingerprint(放在里面进行加密，如果是相同的打印出来也是相同的)
'''
##去重
class Self_Dupliter(BaseDupeFilter):
def __init__(self):
self.vister_urls=set()
##设置url元祖
@classmethod
def from_settings(cls, settings):
print('最开始')
return cls()
# def request_seen(self, request):###传入的requets里面有url，可以直接取出来
# print('执行去重规则')
# if request.url in self.vister_urls:
# return True
# self.vister_urls.add(request.url)
# return False
def request_seen(self, request): ###传入的requets里面有url，可以直接取出来
print('执行去重规则')
print(request.url)
fd=request_fingerprint(request)##进行了加密处理，长度一样
if fd in self.vister_urls:##如果访问的url在这里的话，就返回true，不执行
print('存在')
print(request.url)
return True
self.vister_urls.add(fd)
##爬虫开始的时候
def open(self): # can return deferred
print('开始')
##redis，爬虫结束
def close(self, reason): # can return a deferred
print('结束')
##记录日志的时候
def log(self, request, spider): # log that a request has been filtered
print('记录日志')
'''
可以让他每次来不执行init方法
直接是下面的方法,所以init里面定义的set可以一直加值，在进行判断，相当于是一个存放url（不重复）集合
执行顺序：
最开始执行settings（有执行去重类，导入模块的时候）
在执行parse方法，如果settings里面配置了去重的类的话，那么每yield Requets的时候，就会执行这个自定义的去重类：
去重类执行顺序：先执行from_seen，在执行open，在执行request_seen（多次执行，每yield Request一次的话，就执行一次这个方法），最后执行close
'''
连接redis去重处理（放进redis集合里面）
爬虫里面：
from scrapy.http.request import Request
def parse(self, response):
print('执行操作')
# obj=response.xpath('//*[@id="dig_lcpage"]/ul/li/a[re:test(@class,"ct_pagepa")]/@href').extract()
obj=response.xpath('//*[@id="dig_lcpage"]/ul/li/a[re:test(@href,"/all/hot/recent/(d+)")]/@href').extract()
for i in obj:
# print(i)
page='https://dig.chouti.com'+i
yield Request(url=page,callback=self.parse)#dont_filter=True是不执行去重的，当为false是执行去重的
settings里面：
DUPEFILTER_CLASS='scrapy_pro.dupfliter.DupFliter'
去重类里面：
from scrapy.dupefilter import BaseDupeFilter
from scrapy.utils.request import request_fingerprint
import redis
class DupFliter(BaseDupeFilter):
def __init__(self):
self.dupdic=redis.Redis(host='127.0.0.1',port=6379)
# def request_seen(self,request):
# url=request_fingerprint(request)
# if url in self.dupdic:
# return True
# self.dupdic.add(url)
# print('添加成功',request.url)
def request_seen(self,request):
url=request_fingerprint(request)
print('执行去重')
if url==1:
self.dupdic.sadd('scrapy_urls', request.url) ##做判断，看是否是相等的
print('添加成功', request.url)
return False
print('已经存在',request.url)
return True
# 如果是添加成功的haul，那么久返回fasle，不做处理，如果返回true就会执行下一个yield