制作scrapy爬虫一共分4个步骤:
1.新建项目 (scrapy startproject xxxx)
2.明确目标 (编写 items.py) 明确你要抓取的目标
3.制作爬虫 (spider/xxspider.py)
4.存储内容 (piplines.py)
cmd 命令下
scrapy bench 测试每分钟服务器的爬取页面的数量
运行一个爬虫
cd到相关目录
然后 scrapy crawl itcast
制作scrapy爬虫一共分4个步骤:
1.新建项目 (scrapy startproject xxxx)
2.明确目标 (编写 items.py) 明确你要抓取的目标
3.制作爬虫 (spider/xxspider.py)
4.存储内容 (piplines.py)
cmd 命令下
scrapy bench 测试每分钟服务器的爬取页面的数量
运行一个爬虫
cd到相关目录
然后 scrapy crawl itcast