Scrapy学习1:安装

Install Scrapy

熟悉PyPI的话,直接一句

pip install Scrapy

但是有时候需要处理安装依赖,不能直接一句命令就安装结束,这个和系统有关。

我用的Ubuntu,这里仅介绍Ubuntu12.04及以上的版本。

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

先执行上面命令安装lxml和cryptography的依赖库。

如果是想在Python3上安装scrapy,还需要输入

sudo apt-get install python3 python3-dev

最后一步

pip install scrapy

安装完成

不要用Ubuntu提供的python-scrapy包来安装,不方便获取最新scrapy。

Using a virtual environment

官方文档推荐在虚拟环境下安装scrapy。虚拟环境下安装不容易和全局环境下的python包发生冲突。安装Virtual environment(virtualenv)很简单

sudo pip install virtualenv

简单介绍下virtualenv的使用。要创建一个虚拟环境,我们输入:

virtualenv ENV

这样一个放置在ENV文件夹的虚拟环境就搭好了

搭好后还需要激活(activate)我们才能进入虚拟环境。脚本在/ENV/bin下。

cd ENV
source bin/activate

如果成功进入虚拟环境,你可以看到最前面出现了一个(env)提示符,比如下面这样的。

(env)ubuntu@VM-197-0-ubuntu:~/env/bin$ 

然后正常安装scrapy就可以了。

要退出虚拟环境,只要

deactivate

Reference:

Scrapy Doc

Scrapy Github

virtualenv Doc

原文地址:https://www.cnblogs.com/pusidun/p/7170663.html