pycharm下创建scrapy项目

1.新建项目名称

2.环境添加scrapy

3.打开cmd命令， 进入将要把代码放入的目录

输入 

scrapy startproject article #最后一位（spider）为模块名，可随意取

最终，项目目录结构

4.执行某一个spider

scrapy crawl jobbole#文件ming

5,设置 ROBOTSTXT_OBEY = False

 

6.调试命令

scrapy shell 被测地址

 7.新增一个spider

scrapy genspider zhihu www.zhihu.com