如何在vscode中调试python scrapy爬虫

本文环境为 Win10 64bit+VS Code+Python3.6,步骤简单罗列下,此方法可以不用单独建一个Py入口来调用命令行

  1. 安装Python,从官网下载,过程略,这里主要注意将python目录加入环境变量 Path中 "D:Python36" "D:Python36Scripts"
  2. 安装Vs code,过程略, 在vscode扩展中安装Python插件
  3. 建立你的Scrapy爬虫项目或者拷贝过来 用VSC打开,如果应用了chromedriver/ phantomjs一定要拷贝.exe到Python36目录或单独加环境变量
  4. 将根目录添加到工作区
  5. 开始准备调试,在debug这里选择添加配置,选择python中的scrapy
  6. VSC会自动带入默认的配置如图
  7. 这里注意 args就是你的参数: crawl 关键字爬取保留, specs是爬虫名字 换成你自己的,后面两个参数可根据scrapy实际情况增减
  8. 此时按F5调试, 如果报“Unknown command: crawl”错误,则需要在launch.json的scrapy中增加 "cwd"参数, 设置路径为爬虫项目名目录,一般都在scrapy下的一级
  9. 此时再按F5 即可调试到你在spider里的断点了。

Unhandled error in Deferred

如果调试代码出现以上错误,并且没有详细错误信息,可以考虑重新安装正确的 pywin32,Twisted,也可以单步调试找出出错地点,具体问题具体分析

package版本大全:https://www.lfd.uci.edu/~gohlke/pythonlibs/

参考:http://www.stevetrefethen.com/blog/debugging-a-python-scrapy-project-in-vscode

原文地址:https://www.cnblogs.com/wfwup/p/10615859.html