scrapy startproject myproject #创建项目
scrapy genspider mydomain mydomain.com #创建spider
scrapy crawl myspider #使用spider进行爬取
scrapy list #列出当前项目中所有可用的spider
Spider类
并没有提供什么特殊的功能。 其仅仅请求给定的 start_urls/start_requests ，
并根据返回的结果(resulting responses)调用spider的 parse 方法。
Selectors
构建于 lxml 库之上
.xpath() 及 .css() 方法返回一个类 SelectorList 的实例, 它是一个新选择器的列表
response.xpath('//title/text()').extract()
response.css('title::text').extract()
pipelines
用来存储数据