python3 爬虫开发 学习总结一

virtualenv 安装虚拟环境的   pip install  virtualenv

安装慢的话,可以指定源
    pip install  -i  源地址  xxx  就可以安装xxx

virtualenv xxx 生成xxx的虚拟环境
    指定环境:  virtualenv -p  c:/xxx/xxpy/(windows 要加pythom3.exe) xxx   用python3生成xxx的虚拟环境
虚拟环境位于当前目录下

进入虚拟环境 :找到目录,然后  virtualenv xxx  进入 

找目录麻烦,所以可以使用 virtualenvwrapper
安装virtualenvwrapper
  pip install virtualenvwrapper

用virtualenvwrapper生成虚拟环境

mkvirtualenv xxx  生成xxx的环境,但是目录是是在默认目录下,我们可以修改:
    在电脑环境变量里新建一个 WORKON_HOME 变量自己指定一下位置
    如 :  WORKON_HOME  D:env 就默认到d盘env文件夹下了

当我们再次cmd中运行workon的时候,就会去d盘env下找我们的虚拟环境
同时当用mkvirtualenv xxx的时,就会把虚拟环境建立到d盘下的env文件夹下

(mkvirtualenv xxx 创建的时候,同时会自动进入虚拟环境)

退出virtualenv用 deactivate
进入则: workon  xxx  进入虚拟环境

尝试安装scrapy
 pip install -i https://pypi.douban.com/simple scrapy  

(有可能会报错,我回到的貌似是ssl证书问题,所以需要先安装一下 certifi)

我是去https://pypi.python.org/pypi/certifi 下载的   certifi-2017.7.27.1-py2.py3-none-any.whl (md5pgp)

   然后进入certifi-2017..所在目录 ,再cmd下执行 pip install  certifi.....whl,安装后
   再次执行 pip install -i https://pypi.douban.com/simple scrapy   
   又遇到了 building 'twisted.test.raiser' extension c++的问题,然后根据提示去 
   然后安装了c++工具之后,
   http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
  我电脑是intel64,py版本是3的所以 我下载了Twisted-17.5.0-cp36-cp36m-win32.whl

scrapy终于安装成功了

原文地址:https://www.cnblogs.com/mahuateng/p/7574834.html