Crawlab-分布式爬虫管理系统 一、简介 Crawlab基于Celery的爬虫分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架。Github: https://github.com/tikazyq/crawlab 参考资料 分布式通用爬虫管理平台Crawlab 手把手教你如何用Crawlab构建技术文章聚合平台(一)