爬虫学习到今天也告一段落了,利用一个项目把自己这几个月的所学的知识来做一次总结 项目所需要的知识比较全面,很适合练手,
一 程序目的
爬取拉钩全站的职位信息存入mysql和mongodb中
二 所用到的方法
一 利用selenium登录拉钩取得cookies
二 利用redis保存selenium登录拉钩取得cookies信息,维护一个cookie池
三 爬取西刺等免费IP网站,并用redis维护一个IP池
四 利用flask把cookies和ip分别映射到网页中,用requsets得到.
五 利用fack_useraget切换UA
六 异步存入mysql
七 同时把数存到mongodb中
八 利用scrapy_redis实现分步式
用法
一 生成IP池
1、 启动redis
2、 进入ProxyPool cd ProxyPool/proxypool
3、配置settings 注释写的很清晰
4、cd ..
5、python run.py 因为cookie池在5000端口，所这里改在7777端口
二 生成cookie池
1、 启动redis
2、cd CookiesPool/cookiespool
3、 配置config.py
4、cd ..
5、python importer.py 并按提示输入用户名和密码,这一步的目的是为了在redis中保存用户名和密码
6、 python run.py
三 启动mysql 和 mongodb
四 配置好crawler的settings.py
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 5
DOWNLOADER_MIDDLEWARES = {
# 'lagou.middlewares.MyCustomDownloaderMiddleware': 543,
'lagou.middlewares.RandomUaIpCookiesMiddleware': 543,
}
ITEM_PIPELINES = {
'lagou.pipelines.LagouJobMongoPipeline': 300,
'lagou.pipelines.LagouJobMysqlPipeline': 302,
'scrapy_redis.pipelines.RedisPipeline': 301
}
COOKIES_POOL_URL = "http://127.0.0.1:5000/lagou/random"
IP_POOL_URL = 'http://127.0.0.1:7777/get'
UA_TYPE = 'random'
MONGO_URI = "127.0.0.1:27017"
MONGO_DATABASE = "outback"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
# Whether to persist or clear redis queue.
CHEDULER_FLUSH_ON_START: True
MYSQL_HOST='localhost'
MYSQL_PORT='3306'
MYSQL_DB="outback"
MYSQL_USERNAME="root"
MYSQL_PASSWORD="root"
五 启动spider
其他说明
- 1 用户名和密码输入格式为 15737373737----1234556
- 2 cookies默认在127.0.0.1:5000/lagou/randam
- 3 IP默认在127.0.0.1:7777/get
-4 因为暂时没有数据分析的必要,没有对数据进行清洗
github https://github.com/573320328/lagou.git 一定记得Start哦,
如果有不清楚的的地方可以留言发信息,但一定记得start,
要找工作啊