Scrapy的安装和基本使用方法

Scrapy的安装

1. Windows下安装流程:

方法一: 命令行执行pip install scrapy 安装scrapy

注意:如果有anaconda,也可以打开“Anaconda prompt”,激活环境以后使用命令:conda install scrapy

方法二:当遇到lxml报错信息,可以进入非官方安装包下载对应版本的lxml.whl文件。其它依赖包缺失错误,或者不兼容错误,也可以下载对应的.whl文件,使用pip install 文件地址+文件名的方式安装

注意:如果以上方法都无法安装,并且提示:Requrise Microsoft Visure C++ 14.0,进入这个链接https://www.lfd.uci.edu/~gohlke/pythonlibs/下载电脑对应版本名称为Twisted程序,并采用pip install 加文件路径的方法安装程序。

  安装之后就能正常安装Scrapy

Scrapy框架生成方法

1.在anaconda prompt中打开要创建框架的文件夹路径,然后输入scrapy startproject +项目名称

2.继续打开项目所在文件夹,然后输入scrapy genspider+爬虫名+域名,创建爬虫

创建好的项目列表如图所示

原文地址:https://www.cnblogs.com/zhz-8919/p/9677919.html