命令流程：
scrapy startproject study #创建一个项目，名字为study
cd study #进入study目录
scrapy genspider yibaizhang yibaizhang.com #创建爬虫，名字为yibaizhang
## spider 目录所有的存放爬虫，可以通过scrapy list命令看到。有yibaizhang.py文件，内含YibaizhangSpider类，因为是scrapy.Spider的基类，故其初始执行函数为start_requests，可以通过重写此函数，指定初始的解析函数（代替parse）
## 解析使用的是scrapy.Selector类，其xpath方法，有几个函数：
response.xpath('//div[starts-with(@id, "hea")]') # 以hea开头
response.xpath('//div[contains(@id, "ner")]') # 包含ner
response.xpath('//div[re:test(@id, "info$")]') # 正则表达式
## URL去重，默认使用的是scrapy.dupefilters.RFPDupeFilter，在settings/default_settings.py指定的。可以修改的自定义的，需要在setting.py文件中，配置DUPEFILTER_CLASS的值
比如：DUPEFILTER_CLASS = "study.duplication.MyDupeFilter"。使用duplication文件中的MyDupeFilter类。该类可以继承自scrapy.dupefilters.BaseDupeFilter，实现其中的方法
## pipeline 用来做持久化
有files, images, media 三个scrapy提供的pipeline可用。可以根据需求实现自己的Pipeline，可以加上这几个方法：
@classmethond from_crawler(self, crawler); open_spider(self, spider); close_spider(self, spider);
多个pipeline的时候，前一个return item 可以传递给下一个pipeline类。如果不需要传下去，可以raise scrapy.exceptions.DropItem
通过spider.name指定爬虫的pipeline