网络爬虫(蜘蛛)Scrapy,Python安装!

Scrapy,Python安装。使用!

1、下载安装Python2.7.6。由于Scrapy还不支持3.x版本号。

Latest Python 2 Release - Python 2.7.6,安装时选择当前用户。

2、到http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe

3、将C:python27Scripts;C:python27;加入到环境变量里。

4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual C++ 2008 RedistributablesWin32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin文件夹加入到环境变量(C:OpenSSL-Win32)

5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py,用Python执行ez_setup.py(双击也行)。会自己主动安装好工具、

6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装,拷贝到Python/Scripts下,执行 easy_install zope.interface-4.1.1-py2.7-win32.egg

(假设后缀名不是egg,改动为egg)

7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。

8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py3.2.exe 安装

9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。

(安装时选择当前用户)

10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6

11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六

12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl  安装同6

13、命令行下执行easy_install scrapy将会自己主动下载并安装完毕。


注:以上安装以win32为例,假设是win64则所有要下载64位的安装包。在win64安装WIn64OpenSSL时。还要把C:OpenSSL-Win32in文件夹下的libeay32.dll和ssleay32.dll放到C:windowssystem32下。不然执行scrapy时出错。


问题汇总:

1、假设没安装10-12步骤,会出现pyOpenSSL警告和未安装service_identity错误。这两个都人先安装编译器,VC2008和VC2010都能够。

假设不是VC2008则要建立一个环境变量:VS90COMNTOOLS,变量值和VS100COMNTOOLS一样就能够。

2、假设出现“Unable to find vcvarsall.bat”,则是没有安装VC2008出现的。


原文地址:https://www.cnblogs.com/tlnshuju/p/7161392.html