基于python的scrapy环境搭建




 0.1 安装python软件

      32位机的电脑安装python-3.6.3.exe

      64位机的电脑安装python-3.6.3-amd64.exe

   0.1.1 python环境搭建

             执行安装程序

clip_image002


          选择Add Python 3.6 to PATH,然后点击Customize installation

clip_image004


         确保所有的选项都被选中,然后点击Next

clip_image006

      

          选择Install for all users,然后定制自己的安装路径。点击Install按钮

           安装完成后,启动cmd命令行(需要在管理员界面进入)。

clip_image008

        输入python命令,如果出现>>>提示符,就表示python程序已经安装正确并程序进入python命令行。

clip_image010

          编写helloworld程序。

                  print('hello')

clip_image012

                  如果想要退出python命令,回到DOS命令行,可以在python命令行中按Ctrl+Z回车。

clip_image014

0.1.2 安装python插件

      假设我们需要安装一个插件ipython,在cmd命令行下(需要管理员权限),输入

前者从国外的网站装,后者从国内网站装,

pip install ipython

pip install ipython -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

pip install numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

        如果能够成功安装,启动ipython,在命令运行

ipython

尝试打印hello字样

ipython中通过exit命令退出。

clip_image016

pip本身可以更新,使用如下命令:

python -m pip install --upgrade pip

clip_image018

0.1.3安装ipython

IPython可以理解为网页版的python,安装步骤如下:

pip install ipython

clip_image020

此时,输入ipython,即可进入ipython的命令行

clip_image022

要使用网页版本,则需要安装jupyter

pip install jupyter

clip_image024

然后输入

jupyter notebook

即可打开python的网页版本。

Jupyter的主窗口显示的路径一般是你启动notebook时位于的路径下(通常在你的用户目录下)。主界面如下所示:

clip_image026

若要创建一个新的notebook,只需鼠标左击New,在下拉选项中选择一个你想启动的notebook类型即可。

clip_image028

比如选择python3

然后在新的页面进行程序的编辑

clip_image030

       注意该文件的后缀名为ipynb

        另外,也可以把其他人写好的ipynb文件拷贝到当前工作区下。刷新打开即可。



0.1.4 安装selenium插件

     前者从国外的网站装,后者从国内网站装,

pip install selenium

pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.5安装lxml库

    如果需要在python程序中应用xpath规则。使用lxml库(LXML)

pip install lxml

pip install lxml -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.6安装scrapy框架

      0.1.6.1安装pip3

    地址:

https://blog.csdn.net/zytbft/article/details/72566197

python3.6 安装pip3 官网下载,

https://pypi.python.org/pypi/pip#downloads

(也就是安装包中:pip-18.1.tar.gz 文件,)

clip_image032

           然后解压到一个文件夹,用CMD控制台进入解压目录,依此输入:

                      1、python setup.py install

                       2、setup.py install

          然后,添加环境变量,我们在PATH最后添加:

                 D:Python36Scripts

         安装scrapy 最保守的方法

          参考网址    https://www.cnblogs.com/dalyday/p/9277212.html



0.1.6.2安装 pywin32(文件夹中有)

     下载并安装 pywin32:

          进入https://sourceforge.net/projects/pywin32/files/,在目录点击pywin32,选择Build 221,找到自己对应版本的pywin32点击连接即可自己下载,

        安装:点击运行,按默认步骤点击下一步即可

          pywin32的作用:因为Python没有自带访问windows系统API的库的,需要下载第三方库。库的名称叫pywin32,可以从网上直接下载

        参考网址     https://sourceforge.net/projects/pywin32/files%2Fpywin32/

(下载适合你的Python版本。

比如build220里面的pywin32-221.win-amd64-py3.6.exe,并安装)



0.1.6.3安装 wheel

          输入以下命令即可

          pip3 install wheel

0.1.6.4下载twisted文件

    进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

          点击对应版本下载,cmd进入下载目录,cmd执行一下命令

64位机

          pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

32位机

           pip install Twisted-18.9.0-cp36-cp36m-win32.whl

即可安装



0.1.6.5安装scrapy
     0.1.6.6确认是否安装成功

         1 在cmd中进入 python

                  2 >>>import twisted

                  3 >>>import scrapy

clip_image034

           没有异常则说明安装成功

             三个步骤下来可以正常引入,即表明正常安装, 0.1.7运行python程序的方式

目前运行python程序有3种方式:

            方式一:交互式编程

                  在DOS命令行中输入python命令后,将进入python命令行(前面有3个大于号提示符的)

clip_image036

                在python命令行下,即可输入python命令。如:

clip_image038

        交互式编程一般只适用于测试简单的程序。比如通过pip install安装了某个包后,通过交互式命令行import 该包,看是否能正常导入之类的。交互式终端不适宜进行大量复杂的逻辑运算。

方式二:脚本式编程。

          创建一个后缀名为py的脚本文件,在该文件中编写python脚本。比如创建hello.py,内容如下:

print("hello")

然后,通过python解释器执行。命令如下:

python hello.py

即可。

方式三:在脚本中声明解释器(一般在Linux操作系统下使用)

hello.py

#!/usr/bin/python

print("hello")

然后,修改该脚本的权限为可执行。

$ chmod +x hello.py

再执行该脚本

$ ./test.py

0.1. 8 PyCharm

       PyCharm官网为: https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html

    点击“立即下载”可以下载最新版pycharm。

clip_image040

下载后点击安装。并选择安装目录

clip_image042

选择64位系统(需要与python解释器对应),选择py后缀名。

clip_image044

安装完成后启动pycharm。首次启动需要把滑动条滑动到底部并同意协议

clip_image046

接下来需要输入激活码。在License Server中输入下面的其中一项。

http://idea.imsxm.com/

或打开该网址,找到注册码。

注意:最近lanyu的激活码好像被封杀了。可以修改hosts文件(Windows的在C:WindowsSystem32driversetchosts),添加下面一行到hosts文件,目的是屏蔽掉Pycharm对激活码的验证

0.0.0.0 account.jetbrains.com

目前这个激活码有效期到2018年10月14日,之后再继续更新

选择白底黑词或黑底白字(看个人习惯)

clip_image048

如果需要的话,可以选择下注需要的特征插件(featured plugins)。

clip_image050

点击右下角Start using PyCharm

启动PyCharm后,选择Create New Project

clip_image052

选择Pure Python,和指定的安装目录

clip_image054

编写helloworld程序,首次运行时需要配置python解释器。点击编辑框右上角的提示,或通过File——Setting打开。

clip_image056

在Project interpreter对应的下拉列表中选择对应的解释器版本。

clip_image058

如果没有可以通过右上角的齿轮图案下拉选择Add Local。

clip_image060

并选择python解释器安装的路径。

clip_image062

配置成功后,即可运行程序了(首次运行可能会稍微的耗点时间)

原文地址:https://www.cnblogs.com/Raodi/p/11477647.html