Scrapy 安装与使用

Scrapy的安装:

当前环境win10,python_3.6.4,64bit。在命令提示符窗口运行pip install Scrapy,出现以下结果:

building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

按报错提示安装之后错误依旧存在;

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted> 下载Twisted对应版本的whl文件,cp后面是python版本,amd64代表64位,重新运行pip install命令:

pip install C:UsersE5-573GDesktop2018寒假Python爬虫scrapyTwisted-17.5.0-cp36-cp36m-win_amd64.whl1 

其中install后面为下载的whl文件的完整路径名 。

然后再次运行 pip install scrapy 命令即可安装成功。

Scrapy命令行格式:

 

应用Scrapy爬虫框架主要是编写配置型代码。

Scrapy的第一个实例:演示HTML地址。

演示HTML页面地址:http://python123.io/ws/demo.html

原文地址:https://www.cnblogs.com/zyh19980816/p/11844791.html