Scrapy模块安装和启动

安装

1、pip install wheel

2、pip twisted(如报错手动安装)

下载离线的安装(下载自己的版本)
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

然后在cmd 中 pip install (将下载好的文件拖入)

3、pip install pywin32

4、pip install scrapy

.创建工程

1、打开命令行,然后切换到需要的目录

输入下面的命令创建工程

scrapy startproject weibo

其中weibo是你需要创建的工程的名字,前两个参数不动。

2、然后到达工程的目录,cd weibo

scrapy genspider weibocn m.weibo.cn

然后这时候进入工程的spider文件发现多了一个文件weibocn.py

weibocn 是爬虫的名字,具有唯一性,每个工程拥有一个唯一的爬虫名,m.weibo.cn是指定域范围,获取的内容只在指定的域。

3、在settings中 19行:对请求载体的身份进行伪装

       22行:不遵从robots协议

4、执行 scrapy crawl  weibocn --nolg

原文地址:https://www.cnblogs.com/zhuzhiwei-2019/p/10906333.html