scrapyd使用教程

1. 安装服务器:

pip install scrapyd

启动: scrapyd

访问:127.0.0.1:6800

2. 安装客户端

pip install scrapyd-client

3. 进入爬虫项目根目录:找到

scrapy.cfg 文件 修改如下

[settings]
default = blog.settings

[deploy:zwb]
url = http://localhost:6800/
project = blog

4. 发布项目

scrapyd-deploy target -p prject

这里target 为你的服务器命令,prject是你项目的名字,发布项目之前我们的scrapyd.cfg必须修改,上面我们已经修改过了,

因此我的命令是:scrapyd-deploy zwb -p blog

scrapyd-deploy <target> -p <project> --version <version>

4.2 启动爬虫

curl http://localhost:6800/schedule.json -d project=blog -d spider=demo

4.3 停止爬虫

curl http://localhost:6800/cancel.json -d project=blog -d job=demo

blog:你爬虫项目的名字,demo:你爬虫的名字

参考文档:https://www.jianshu.com/p/f0077adb74bb

https://www.jianshu.com/p/f815f91949f2

原文地址:https://www.cnblogs.com/myvic/p/11284369.html