爬虫调度的框架-小记录

scrapy：强大的爬虫框架

scrapyd：通过命令启动、终止操作爬虫

scrapydweb：页面可视化调度爬虫

scrapydAPI：集成api接口调度爬虫，可上github的scrapyd-api项目，和后端框架配合使用