scrapy框架使用-模拟登陆，使用cookie登陆，使用post登陆，使用selenium模拟登陆

####

scrapy模拟登陆1---使用cookie登陆

有些网站的cookie过期时间很长，比如一些小网站，

我们可以保存这个cookie，然后携带cookie登陆，

如果操作：

思考，这个start_urls是谁发起的？

这个是在爬虫继承的父类，spider里面，有一个start_requests，这个方法发起的请求，

我们的操作就是重写这个方法，

import scrapy
import re


class Spider3Spider(scrapy.Spider):
    name = 'spider3'
    allowed_domains = ['360doc.com']
    start_urls = ['http://www.360doc.com/myfiles.aspx']

    def start_requests(self):
        cookies = "XXX"  # 复制自己的cookie
        cookies = {i.split("=")[0].strip(): i.split("=")[1].strip() for i in cookies.split(";")}
        # print(cookies)
        yield scrapy.Request(
            self.start_urls[0],
            callback=self.parse,
            cookies=cookies,
        )

    def parse(self, response):
        result_list = re.findall(r'andylee0816', response.body.decode())
        print(result_list)


if __name__ == '__main__':
    from scrapy import cmdline

    cmdline.execute("scrapy crawl spider3 --nolog".split())

 ###

 ###

重点是要体会这种思想 

这种方式的缺点，就是cookie会失效，

记住这种for循环的方式发起请求，这样每次都会携带cookie登陆了？？？

这种要测试一下，才能理解的更深刻，

####

scrapy模拟登陆2---使用post请求登陆

####

前面学过了，可以parse返回一个request，这里是一个formrequest，也就是带参数的请求，就是post请求，

模拟登陆github，

注意这个formdata，有一个token是变化的，

这个在login这个url里面是有定义的，可以找到，

 

####

##

注意，组成的post数据，key不需要写引号， 

这种就是使用post登陆，

####

###

###

###

这种方法是scrapy里面正统的登陆的方法，但是这个不是所有的网页都能行的，有一些网站登陆用这个方法就不行！！！

这个必须要知道，

但是你要体会这种登陆的思想，懂不，重要的是思想，

###

这个方法会自动去寻找form表达，我们只需要写用户名，密码就可以了，

但是如果有两个表单怎么办？

看看源码，可以定位具体的某一个表单，

但是这种只能用于没有验证的登陆，如果有验证其他的东西，就没有这么简单了，

如果密码post传递的时候加密了，就要找到js代码，看看怎么加密的，你加密之后传递就可以了，

####

上面的formrequest的登陆方式如果有验证码，就是无解的，

而使用cookie又是出现cookie失效的问题，

###

第三种方法，就是使用selenium登陆，这种才是好办法，

scrapy结合selenium模拟登陆----直接selenium拿到response返回

这种方法需要学习一下，这个算是一个通解，

比如模拟登陆淘宝，

下载中间件：

所以这个selenium也是在下载中间件来做文章的，

处理了请求

  

###

有关信号的知识，还是需要认识看一下，

这种登陆，还是强依赖selenium的，是否有办法，可以直接通过selenium拿到cookie，然后通过cookie登陆呢，

###

scrapy结合selenium模拟登陆----只使用selenium一次，拿到cookie之后，使用requests请求链接把response返回

爬虫

中间件

 

 可见从上面的例子，可以看到，

我们可以通过selenium登陆，然后拿到cookie，然后通过requests携带cookie登陆，返回这个response，

那就厉害了，也就是说，每次爬虫处理的response，都是requests携带cookie请求过的，那这样就可以实现登陆了，

####

这种方式还有问题，是不是可以直接把cookie拿到，然后传递过scrapy呢，不要requests的参与，

也就是scrapy构造后续请求传递cookie的时候，都是把拿到的cookie携带访问的，

####

scrapy结合selenium模拟登陆----只使用selenium一次，拿到cookie之后，把cookie交给scrapy，后续都是scrapy的事情

我们要知道，scrapy的cookie形态，和selenium的cookie形态是不一样的，前者是一个列表，里面一个字符串，而后者是一个里面，里面是字典格式的cookie，

 所以这个应该放到哪里比较好，就是这个下载中间件的process_request里面，对请求进行处理，给他加上cookie，

 ######

###### 

scrapy结合selenium模拟登陆----只使用selenium一次，拿到cookie之后，放到一个文件中，为了后续能在分布式中传递数据，

还可以把这个cookie放到文件中，然后通过文件来访问cookie，去登陆

 

####