Gerapy 使用

Gerapy 使用

Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发,Gerapy 可以帮助我们:

更方便地控制爬虫运行

更直观地查看爬虫状态

更实时地查看爬取结果

更简单地实现项目部署

更统一地实现主机管理

更轻松地编写爬虫代码(几乎没用,感觉比较鸡肋)

Greapy安装

1.gerapy下载

pip install gerapy
gerapy 查看是否安装成功

2.初始化gerapy

gerapy init
执行后会在当前目录下生成一个名字为gerapy的文件夹
cd gerapy
接着进入该文件夹下,可以看到project文件家说明初始化成功

3.初始化数据库

gerapy migrate
(此命令在gerapy目录下执行)
会在gerapy目录下生成一个sqlite数据库,同时创建数据表

4.运行gerapy服务

gerapy runserver
(如果电脑在打开酷狗音乐,请关闭再访问:因为端口是一样的

5.访问gerapy管理界面

http://127.0.0.1:8000

如果遇到:需要登录账号密码 ,但是我们没有设置的话,可以执行:

gerapy migrate 
初始化数据库
gerapy createsuperuser
创建超级用户
	(之后就是输入Username:,
				Email:--可以不用写直接回车,
				Password:)

访问成功!!!

我命由我,不由天
原文地址:https://www.cnblogs.com/duhy/p/12103039.html