Python爬虫（requests模块）

Requests是唯一的一个非转基因的Python HTTP库，人类可以安全享用。

Requests基础学习

使用方法：

1.导入Requests模块：

import requests

2.尝试用get获取某个页面，以百度为例子

url = 'http://www.baidu.com'
r = requests.get(url)

r是一个response对象。可以从这个对象中获取所有想要的信息。

发送简单get的请求：

response.text和response.content的区别：

response.text

返回类型：str
解码类型：根据HTTP头部对响应的编码作出有根据的推测的文本编码
如何修改编码方式：response.encoding = 'gbk'

response.content

返回类型：bytes
解码类型：没有指定
如何修改编码方式：response.content.decode('ut8-f')

实例：获取百度图片

import requests
url = 'https://www.baidu.com/img/bd_logo1.png'
response = requests.get(url)
with open('baidu.png','wb') as p:
    p.write(response.content)

发送带header的get请求：

发送带参数的get请求：

实战（贴吧爬虫）：

import requests

class TiebaSpider:
    #构造函数，传入想要查询的贴吧名字和查询前num页，定义后面方法需要用的属性
    def __init__(self,tieba_name,tieba_num):
        self.tieba_num = tieba_num
        self.tieba_name = tieba_name
        #下面为url访问的格式,kw为贴吧名,pn为代表页数，贴吧可查首页pn=0,第一页50，第二页100,以此类推
        self.url_temp = "https://tieba.baidu.com/f?kw=" + tieba_name + "&ie=utf-8&pn={}"
        #模仿网页访问贴吧
        self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 "
                        "(KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"}

    #获取url列表
    def get_urlList(self):
        url_list = []
        for i in range(self.tieba_num):
            url_list.append(self.url_temp.format(i * 50))
        return url_list

    #访问网页，解析网页,返回
    def parse_url(self,url):
        response = requests.get(url,headers=self.headers)
        return response.text #或者response.content.decode('utf-8')

    #保存网页
    def save_html(self,html_str,page_num):
        file_path = "{}-第{}页.html".format(self.tieba_name,page_num)
        with open(file_path,'w',encoding='utf-8') as f:
            f.write(html_str)

    def run(self):
        url_list = self.get_urlList()
        for url in url_list:
            html_str = self.parse_url(url)  #保存的内容
            page_num = url_list.index(url) + 1  #文件的页码
            self.save_html(html_str,page_num)

def main():
    tieba_name = input('请输入想查询的贴吧名：')
    tieba_num = int(input('请输入想要查询前几页：'))
    tieba = TiebaSpider(tieba_name, tieba_num)
    tieba.run()

if __name__ == '__main__':
    main()

Requests深入学习

发送post请求

哪些地方我们会用到POST请求：

登录注册（POST比GET更安全）
需要传输大文本内容的时候（POST请求对数据长度没有要求）
所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求

使用代理

为什么爬虫需要使用代理

让服务器以为不是同一个客户端在请求
防止我们的真实地址被泄漏，防止被追究

用法：request.get（'http://www.baidu.com',proxies = proxies）

proxies的形式：字典

proxies = {

　　"http" : "http://12.34.56.79:9527",

　　"https" : "http://12.34.56.79:9527",

}

步骤：

准备一堆IP地址，组成ip池，随机选择一个ip来使用
随机选择代理ip，让使用次数较少的ip地址有更大的可能性被用到
- {"ip" : ip,"time",0}
- [{},{},{},{},]对这个ip列表进行排序，按照使用次数进行排序
- 选择使用次数较少的10个ip，从中随机选择一个
检查ip的可以性

可以使用requests添加超时参数，判断ip地址的质量
在线代理ip质量检测的网站

爬虫处理cookie和session

带上cookie，session的好处：

　　能够请求到登录之后的页面

带上cookie，session的弊端：

　　一套cookie和session往往和一个用户对应，请求太快或者太多，容易被服务器识别为爬虫

不需要cookie的时候尽量不去使用cookie

处理cookies，session请求

requests提供了一个叫session类，来实现客户端和服务端的会话保持

使用方法：

1.实例化一个session对象

2.让session发送get或者post请求

session = requests.session()

cookies = {cookies字典}

response = session.get(url,headers=headers,cookies=cookies)