本章学习爬虫的
- 回调和跟踪链接
- 使用参数
回调和跟踪链接
上一篇的另一个爬虫,这次是为了抓取作者信息
# -*- coding: utf-8 -*- import scrapy class MyspiderAuthorSpider(scrapy.Spider): name = 'myspider_author' start_urls = ['http://quotes.toscrape.com/'] def parse(self, response): # 链接到作者页面 for href in response.xpath('//div[@class="quote"]/span/a/@href'): yield response.follow(href, self.parse_author) # 链接到下一页 for href in response.xpath('//li[@class="next"]/a/@href'): yield response.follow(href, self.parse) def parse_author(self, response): yield { 'name':response.xpath('//h3[@class="author-title"]/text()').extract_first(), 'birthdate':response.xpath('//span[@class="author-born-date"]/text()').extract_first() }
这个爬虫将从主页面开始， 以 parse_author 回调方法跟踪所有到作者页面的链接，以 parse 回调方法跟踪其它页面。
这里我们将回调方法作为参数直接传递给 response.follow，这样代码更短，也可以传递给 scrapy.Request。
这个爬虫演示的另一个有趣的事是，即使同一作者有许多名言，我们也不用担心多次访问同一作者的页面。默认情况下，Scrapy 会将重复的请求过滤出来，避免了由于编程错误而导致的重复服务器的问题。如果你非要重复,改成这样:
yield response.follow(href, self.parse_author,dont_filter=True)
通过这样的爬虫,我们做了这样的一个事:获得了网站地图,挨着进去访问,获取信息.
上一篇最基础的爬虫,是根据"下一页",不停的往下找,中间可能会断掉,注意两者的区别
spider类参数传递
在运行爬虫时，可以通过 -a 选项为您的爬虫提供命令行参数：
dahu@dahu-OptiPlex-3046:~/PycharmProjects/SpiderLearning/quotesbot$ scrapy crawl toscrape-xpath-tag -a tag=humor -o t1.jl
默认情况下，这些参数将传递给 Spider 的 __init__ 方法并成为爬虫的属性。
在此示例中，通过 self.tag 获取命令行中参数 tag 的值。您可以根据命令行参数构建 URL，使您的爬虫只爬取特点标签的名言：
# -*- coding: utf-8 -*- import scrapy class ToScrapeSpiderXPath(scrapy.Spider): name = 'toscrape-xpath-tag' start_urls = [ 'http://quotes.toscrape.com/', ] def start_requests(self): url = 'http://quotes.toscrape.com/' tag = getattr(self, 'tag', None) if tag is not None: url = url + 'tag/' + tag yield scrapy.Request(url, self.parse) def parse(self, response): for quote in response.xpath('//div[@class="quote"]'): yield { 'text': quote.xpath('./span[@class="text"]/text()').extract_first(), 'author': quote.xpath('.//small[@class="author"]/text()').extract_first(), 'tag': quote.xpath('.//div[@class="tags"]/a[@class="tag"]/text()').extract() } next_page_url = response.xpath('//li[@class="next"]/a/@href').extract_first() if next_page_url is not None: yield scrapy.Request(response.urljoin(next_page_url))
当然你运行爬虫的时候,要是不加-a参数,也是可以正常运行的,这个方法是修改start_requests()方法
另个例子,直接修改__init__()方法
# -*- coding: utf-8 -*- import scrapy class Dahu2Spider(scrapy.Spider): name = 'dahu2' allowed_domains = ['www.sina.com.cn'] start_urls = ['http://slide.news.sina.com.cn/s/slide_1_2841_197495.html'] def __init__(self,myurl=None,*args,**kwargs): super(Dahu2Spider,self).__init__(*args,**kwargs) if myurl==None: myurl=Dahu2Spider.start_urls[0] print("要爬取的网址为:%s"%myurl) self.start_urls=["%s"%myurl] def parse(self, response): yield { 'title':response.xpath('//title/text()').extract_first() } print response.xpath('//title/text()').extract_first()
运行:
dahu@dahu-OptiPlex-3046:~/PycharmProjects/SpiderLearning/quotesbot$ scrapy crawl dahu2 --nolog 要爬取的网址为:http://slide.news.sina.com.cn/s/slide_1_2841_197495.html 沈阳：男子养猪养出新花样 天天逼“二师兄”跳水锻炼_高清图集_新浪网 dahu@dahu-OptiPlex-3046:~/PycharmProjects/SpiderLearning/quotesbot$ scrapy crawl dahu2 -a myurl=http://www.sina.com.cn --nolog 要爬取的网址为:http://www.sina.com.cn 新浪首页
这里注意,yield方法,生成的是个字典的结构,我试了下别的,只能是这4个
2017-08-16 21:36:39 [scrapy.core.scraper] ERROR: Spider must return Request, BaseItem, dict or None, got 'unicode' in <GET http://www.sina.com.cn>
当然我们这里用print打印出来显得很粗糙,用yield生成出来,就是这样子:
{'title': u'u65b0u6d6au9996u9875'}
这里编码问题,可以通过json的库来解决,把内容输出到文件里,可以解决编码问题,这个就不细说了.
skill:
scrapy 在不同的抓取级别的Request之间传递参数的办法，下面的范例中，parse_item通过meat传递给了parse_details参数item，这样就可以再parse_details抓取完成所有的数据后一次返回
class MySpider(BaseSpider): name = 'myspider' start_urls = ( 'http://example.com/page1', 'http://example.com/page2', ) def parse(self, response): # collect `item_urls` for item_url in item_urls: yield Request(url=item_url, callback=self.parse_item) def parse_item(self, response): item = MyItem() # populate `item` fields yield Request(url=item_details_url, meta={'item': item}, callback=self.parse_details) def parse_details(self, response): item = response.meta['item'] # populate more `item` fields return item