Scrapy框架

一 简介

  Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试

安装scrapy

使用pip进行安装

运行cmd命令进入终端

执行命令:pip install Scrapy

安装Scrapy一般会出现下面的错误

次提示系统没有Microsoft Visual C++ 14.0,需要先安装

Microsoft Visual C++ 14.0 提取码:lubx

安装好之后再次执行pip install Scrapy命令即可

使用 Scrapy

1、使用终端进入到需要创建项目的路径下

这里我在F盘创建

2、输入scrapy startproject 项目名称  进行项目创建

原文地址:https://www.cnblogs.com/renshaoqi/p/10932413.html