【问题】pyspider安装过程的一些问题

第一个问题:
    环境信息为windows10 64位,原生python3.6环境,没有使用anaconda,使用pip install pyspider报egg错误


    解决方法:
    1. 安装wheel
        pip install wheel


    2. 下载pycurl
        地址在这里:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
    3. 安装对应的版本amd为64位的
        pip install 刚才下载的文件的绝对路径


    4. 继续完成pyspider安装
        pip install pyspider


    5. 进入到某个目录,使用
        pyspider all
        启动pyspider
天真的我以为到这里就OK了

但是在开开心心创建第一个项目的时候,运行解析第二页

遇到了第二个问题:

  python已停止工作

此时我的内心是崩溃的

解决办法:

换成32位的Python

参考链接:

https://segmentfault.com/q/1010000006658325/a-1020000006659824

一顿操作,搞定了32的python

重新安装了pyspider

然后启动pyspider的时候!!!!

又报了第三个错误:某Win32 DLL不存在

又是一顿操作,stackoverflow上给出了重新安装pywin32的方法

然后我并没有按照着做,为了个Pyspider折腾坏其他依赖库就麻烦了

还是用虚拟机吧

最后的最后,我在windows上卸载了python环境,安装了一个anaconda,然后使用第一步的方法安装了pyspider,总算没有报错了

然后撸了个脚本,抓了一大波宅男女神的图

暂时告一段落

原文地址:https://www.cnblogs.com/copywang/p/7991266.html