Windows下配置scrapy需要MVC的14.0版本(转载)

  转载于--http://blog.csdn.net/MrWilliamVs/article/details/77130965

  杨煜冬煜杨的博客,他的博客比较杂,Java、Python都有--http://blog.csdn.net/yyd19921214

  环境依赖于 microsoft visual C++ 14.0, 仔细看报错后面还写着该C++库的下载地址;(但我电脑上C++是13.0版本的,这是2017年的博客,不再维护这篇博客了)

  因此,去提示的链接地址, 老老实实下载该库就可以正常配置,不会报错了。

  我是在配置twisted的时候报错的, twisted是一个C++编写的库,需要visual C++的环境去编译,因此,要求电脑上装有Visual C++ 14.0的环境。

网络爬虫, 诚心推荐使用scrapy框架,会方便高效很多。

关于scrapy的配置,电脑上文章太多了,我这里附一个我觉得比较好的,给大家分享下吧,按照教程一步一步来,就不会出错,电脑上pip配置好的话,直接使用指令,会方便很多

http://blog.csdn.net/playstudy/article/details/17296473

http://jingyan.baidu.com/article/fcb5aff7578501edaa4a712b.html

  scrapy框架已经把爬虫的架子搭好了,只需要在每个模块里,按照自己的需求去修改就可以了。
这里推荐一个比较好的教程:http://blog.csdn.net/zjiang1994/article/details/52779537

原文地址:https://www.cnblogs.com/fawaikuangtu123/p/8065375.html