scrapy中crawlspide中callback和follow函数的作用及使用方法

Rule(LinkExtractor(allow=r'i/tems'),callback='parse_item',follow=True)  当前代码的含义就是将当前页面及按照allow=r'i/tems'规则找出来的url的代码返回给callback='parse_item'或者供下一个rule使用。

1.在这句函数中,allow表示:

2.callback是一个解析函数,就是需要解析出页面中需要的内容:

def parse_item(self,response):

  response.xpath("//div[@class='ksdjfk']")

如果在当前页面仅仅需要找出子页面的url,那么就不需要写这个参数,直接删除掉callback='parse_item',

3.follow表示的是需要不需要跟进,,follow=True就是当前页面没有把全部的页面都展现出来,例如:下面的页面之中没有第4页的url,只有当页面处于第3页时才会出来第4页及以后的url,如果,follow=False,那么就不需要跟进,当前页面中有需要的所以url。

原文地址:https://www.cnblogs.com/qiaoer1993/p/10541628.html