Scrapy项目步骤

1:创建项目

scrapy startproject xxx

2:编写items.py文件

设置需要保存的数据字段

3:进入xxx.spiders

编写爬虫文件,文件里的name就是爬虫名(不同于项目名)

4:运行

scrapy crawl 爬虫名

scrapy crawl 爬虫名 -o json/csv/xml

附:

显示HTML源码:response.body

原文地址:https://www.cnblogs.com/godhui/p/9860238.html