scrapy使用流程

安装:通过pip install scrapy即可安装

在ubuntu上安装scrapy之前,需要先安装以下依赖:
sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev,然后再通过pip install scrapy安装

如果在windows系统下,提示这个错误ModuleNotFoundError: No module named 'win32api',那么使用以下命令可以解决:pip install pypiwin32


创建项目

scrapy startproject [项目名称]

创建 爬虫

scrapy genspider baidu www.baidu.com


scrapy3在python2,python3共存下的使用

因为安装了PYTHON2,PYTHON3,之前的SCRAPY 在PYTHON2下是可以的,但在3下运行失败,关联的还是2,原来要在PYTHON3运行的时候,要用全路径:
执行scrapy命令(假设要执行scrapy startproject projectname)的时候不直接键入scrapy, 而是加上scrapy的绝对路径,
windows上: C:\python3\Scripts\scrapy startproject projectname
————————————————
版权声明:本文为CSDN博主「jackyrongvip」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/jackyrongvip/article/details/84913092


原文地址:https://www.cnblogs.com/angdh/p/10173531.html