需求：爬取的是基于文字的新闻数据（国内，国际，军事，航空）
先编写基于scrapycrawl
先创建工程
scrapy startproject 58Pro
cd 58Pro
新建一个爬虫--基于一个scrapy
scrapy genspider 58 www.xxx.com
先把基本功能测试完：再进行修改
selenium在scrapy中的应用
引入：
在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，
是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出
的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行
请求发送，获取动态加载的数据值。
---
1.案例分析：
- 需求：爬取网易新闻的国内板块下的新闻数据
- 需求分析：当点击国内超链进入国内对应的页面时，会发现当前页面展示的新闻数据是被动态加载出来的，如果直接通过程序对url进行请求，
是获取不到动态加载出的新闻数据的。则就需要我们使用selenium实例化一个浏览器对象，在该对象中进行url的请求，获取动态加载的新闻数据。
2.selenium在scrapy中使用的原理分析：
当引擎将国内板块url对应的请求提交给下载器后，下载器进行网页数据的下载，然后将下载到的页面数据，封装到response中，提交给引擎，
引擎将response在转交给Spiders。Spiders接受到的response对象中存储的页面数据里是没有动态加载的新闻数据的。要想获取动态加载
的新闻数据，则需要在下载中间件中对下载器提交给引擎的response响应对象进行拦截，切对其内部存储的页面数据进行篡改，修改成携带了
动态加载出的新闻数据，然后将被篡改的response对象最终交给Spiders进行解析操作。
3.selenium在scrapy中的使用流程：
1.重写爬虫文件的构造方法，在该方法中使用selenium实例化一个浏览器对象（因为浏览器对象只需要被实例化一次）
2.重写爬虫文件的closed(self,spider)方法，在其内部关闭浏览器对象。该方法是在爬虫结束时被调用
3.重写下载中间件的process_response方法，让该方法对响应对象进行拦截，并篡改response中存储的页面数据
重写为：
4.在配置文件中开启下载中间件
-----
中间件中的重写
#拦截到响应对象（下载器传递给Spider的响应对象） #request：响应对象对应的请求对象 #response：拦截到的响应对象 #spider：爬虫文件中对应的爬虫类的实例 def process_response(self, request, response, spider): #响应对象中存储页面数据的篡改 if request.url in['http://news.163.com/domestic/','http://news.163.com/world/','http://news.163.com/air/','http://war.163.com/']: spider.bro.get(url=request.url) js = 'window.scrollTo(0,document.body.scrollHeight)' spider.bro.execute_script(js) time.sleep(2) #一定要给与浏览器一定的缓冲加载数据的时间 #页面数据就是包含了动态加载出来的新闻数据对应的页面数据 page_text = spider.bro.page_source #篡改响应对象 return HtmlResponse(url=spider.bro.current_url,body=page_text,encoding='utf-8',request=request) else: return response
--------
基于scrapy-redis的第二种形式的分布式爬虫：
1. 基于RedisSpider实现的分布式爬虫（网易新闻） a) 代码修改（爬虫类）： i. 导包：from scrapy_redis.spiders import RedisSpider ii. 将爬虫类的父类修改成RedisSpider iii. 将起始url列表注释，添加一个redis_key（调度器队列的名称）的属性
b) redis数据库配置文件的配置redisxxx.conf： i. #bind 127.0.0.1 ii. protected-mode no c) 对项目中settings进行配置：
iii可以被共享的管道
2.UA池:
a) 在中间价类中进行导包：
b) 封装一个基于UserAgentMiddleware的类，且重写该类的process_requests方法
- 代理池：注意请求url的协议后到底是http·还是https
- selenium如何被应用到scrapy
a) 在爬虫文件中导入webdriver类
b) 在爬虫文件的爬虫类的构造方法中进行了浏览器实例化的操作
c) 在爬虫类的closed方法中进行浏览器关闭的操作
d) 在下载中间件的process_response方法中编写执行浏览器自动化的操作
user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 " "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24" ]
proxy = {}
UA池和代理池在scrapy中的应用
一.下载中间件
一.下载中间件 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等 （2）在下载器完成将Response传递给引擎中，下载中间件可以对响应进行一系列处理。比如进行gzip解压等。
我们主要使用下载中间件处理请求，一般会对请求设置随机的User-Agent ，设置随机的代理。目的在于防止爬取网站的反爬虫策略。
二.UA池：User-Agent池
- 作用：尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的请求头信息中的UA进行篡改伪装 3.在配置文件中开启下载中间件
--
#UA池代码的编写（单独给UA池封装一个下载中间件的一个类） #1，导包UserAgentMiddlware类 class RandomUserAgent(UserAgentMiddleware): def process_request(self, request, spider): #从列表中随机抽选出一个ua值 ua = random.choice(user_agent_list) #ua值进行当前拦截到请求的ua的写入操作 request.headers.setdefault('User-Agent',ua)
==================================================================================
在settings.py进行配置
三.代理池
- 作用：尽可能多的将scrapy工程中的请求的IP设置成不同的。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的IP修改成某一代理IP 3.在配置文件中开启下载中间件
-----
#批量对拦截到的请求进行ip更换 class Proxy(object): def process_request(self, request, spider): #对拦截到请求的url进行判断（协议头到底是http还是https） #request.url返回值：http://www.xxx.com h = request.url.split(':')[0] #请求的协议头 if h == 'https': ip = random.choice(PROXY_https) request.meta['proxy'] = 'https://'+ip else: ip = random.choice(PROXY_http) request.meta['proxy'] = 'http://' + ip PROXY_http = [ '190.90.45.2:37333', '221.180.214.70:80', '103.27.24.114:80', '219.141.153.44:80', '112.253.22.161:80', ] PROXY_https = [ '59.127.168.43:3128', '95.189.112.214:35508', '91.235.186.91:37757', '213.80.165.26:31532', '121.33.220.158:808', ]
在settings.py
完整代码：
wangyi.py
# -*- coding: utf-8 -*- import scrapy from wangyiPro.items import WangyiproItem from selenium import webdriver from scrapy_redis.spiders import RedisSpider from wangyiPro import settings class WangyiSpider(RedisSpider): name = 'wangyi' #allowed_domains = ['www.news.163.com'] #start_urls = ['https://news.163.com'] redis_key = 'wangyi' def __init__(self): # 实例化一个浏览器对象(实例化一次) self.bro = webdriver.Chrome(executable_path=settings.chrome_path) def close(self, spider): print('爬虫结束') self.bro.quit() def parse(self, response): lis = response.xpath('//div[@class="ns_area list"]/ul/li') li_list = [] indexs = [3,4,6,7] for index in indexs: li_list.append(lis[index]) # 获取四个板块中的链接和文字标题 for li in li_list: url = li.xpath('./a/@href').extract_first() title = li.xpath('./a/text()').extract_first() print(url+':'+title) # 对每一个板块对应的url发起请求，获取页面数据（标题，缩略图，关键字，发布时间，url） yield scrapy.Request(url=url, callback=self.parseSecond, meta={'title': title}) def parseSecond(self,response): # 获取页面数据（标题，缩略图，关键字，发布时间，url） # //div是定位所有div 加属性就是定位到所有符合条件的div div_list = response.xpath("//div[@class='data_row news_article clearfix']") # 因为是动态加载数据，所以没有生效使用selenium获得动态加载 # print(len(div_list))===》0 print(len(div_list)) for div in div_list: # .表示当前目录 head = div.xpath('.//div[@class="news_title"]/h3/a/text()').extract_first() print(head) url = div.xpath('.//div[@class="news_title"]/h3/a/@href').extract_first() imgUrl = div.xpath('./a/img/@src').extract_first() tag = div.xpath('.//div[@class="news_tag"]//text()').extract print('tag',tag) tags = [] for t in tag: t = t.strip(' ') tags.append(t) tag = "".join(tags) # 获取meta传递过来的数据值title title = response.meta['title'] # 实例化item对象，将解析到的数据值存储到item对象中 item = WangyiproItem() item['head'] = head item['url'] = url item['imgUrl'] = imgUrl item['tag'] = tag item['title'] = title # 对url发起请求，获取对应页面中存储的新闻内容数据 print(head + ":" + url + ":" + imgUrl + ":" + tag) yield scrapy.Request(url=url, callback=self.getContent, meta={'item': item}) def getContent(self,response): item = response.meta['item'] # xpath()得到的是list content_list = response.xpath('//div[@class="post_text"]/p/text()').extarct content = ''.join(content_list) item['item'] = content yield item
管道 pipelines.py
class WangyiproPipeline(object): def process_item(self, item, spider): print(item['title'] + ':' + item['content']) return item
items.py
import scrapy class WangyiproItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() head = scrapy.Field() url = scrapy.Field() imgUrl = scrapy.Field() tag = scrapy.Field() title = scrapy.Field() content = scrapy.Field()
执行流程：
1、打开redis服务器
2、执行爬虫文件
3、打开redis客户端
向调度器队列仍一个起始url
redis_key = 'wangyi'
lpush wangyi https://news.163.com
redis服务器配置处理问题(windows版本)
解压：
在配置文件中修改：
protected-mode no #bind 127.0.0.1
启动服务器的形式
重新启动redis服务，要想配置文件起效，启动的时候，必须指定配置文件
windows下启动redis服务器
redis-server redis.windows.conf
-------------------------------------------------
在从机中打开redis客户端
可以直接点击
如果要增加redis的访问密码，修改配置文件/etc/redis.conf
requirepass passwrd
增加了密码后，启动客户端的命令变为：redis-cli -a passwrd
测试是否能远程登陆
cmd中的命令
d:
cd 文件夹
使用 windows 的命令窗口进入 redis 安装目录，用命令进行远程连接 redis：
redis-cli -h 192.168.1.112 -p 6379
从机测试成功
可以确信 redis 配置完成
数据存储 scrpay-redis 默认情况下会将爬取到的目标数据写入 redis 利用 Python 丰富的数据库接口支持可以通过 Pipeline 把 Item 中的数据存放在任意一种常见的数据库中
Scrapy 是一个优秀的爬虫框架。性能上，它快速强大，多线程并发与事件驱动的设计能将爬取效率提高几个数量级；功能上，它又极易扩展，支持插件，无需改动核心代码。但如果要运用在在大型爬虫项目中，不支持分布式设计是它的一个大硬伤。幸运的是，scrapy-redis 组件解决了这个问题，并给 Scrapy 带来了更多的可能性。 作者：无口会咬人 链接：https://www.jianshu.com/p/cd4054bbc757 來源：简书 简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。
多态从机测试分布式：‘’
