Python3 【requests使用】

一.状态码

二.基本使用

"""
requests第三方库:
pip install requests

req参数：
  cookie
  cookies
  json[json数据格式]
  text[文本]
  content[二进制]
  status_code[请求状态码]
  headers[请求头]
  url[网址]
  history[请求历史]
  
  
1.请求参数
requests.get(url,headers=headers,params=data)

"""

#导入模块

import requests
import re

#请求网址
url = ""

headers = {

   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb
    Kit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
    }

#请求和添加请求头
req = requests.get(url,headers=headers)

#匹配模式
pattern = re.compile('<div.*?"card".*?href="(.*?)".*?card-img-top lazyload.*?data-src="(.*?)".*?</a>',re.S)


if not req.status_code == requests.codes.ok:

    exit()

else:

    html = req.text

    #获取匹配内容
    content = re.findall(pattern,html)

    print(content)    

三.高级用法

 1.文件上传

 requests可以模拟提交一些数据,假如有的网站需要上传文件，我们也可以用它来实现

import requests

#打开文件
files = {'file':open('demo.txt','rb')}

#上传地址
url = "http://httpbin.org/post"

r = requests.post(url,files=files)

print(r.text)

上述打开demo.txt文件上传

 2.Cookies

   前面学过urllib的模块使用Cookies比较繁琐,使用requests可以一步完成

import requests

#使用get请求网址
r = requests.get("http://www.google.com/")

#输出cookie
cookie = r.cookies

for key,value in cookie.items():

    print(key + '=' + value)

  这里我们首先调用cookies属性即可成功得到Cookies,可以发现它是RequestCookieJar类型。然后用items()方法将其转换为

元组组成的列表，遍历输出每一个Cookie的名称和值，实现Cookie的遍历解析。

也可以复制Cookie进行登陆,打开浏览器,或者快捷键Ctrl + Shift + i

cookie里有许多参数,参数的意义自己查找,

下面使用cookie参数打开网页:

import requests

headers={
    "Cookie":"1P_JAR=2020-04-17-06
    NID=202=LQdy6FmSLcTT3ZmqeS4ajmEi4YKcAEz4DD9n1Kghv4lnwEu8b2b6K_3
    9tU-H0n0lkmLKQi3E2PDMKGuqCeT4fG7ixLfGSF91zLI8DfPLJ_To
    Gxb1oO7qNDq5mLRXtsFhTDGw4XYc7GX9a0BJP8JCNYjOpbkAwIploECTvGKmd3g",
    "Host":"www.google.com",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb
    Kit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

    }
#使用get请求网址
r = requests.get("http://www.google.com/",headers=headers)

html = r.text

print(html)

当然,你也可以通过cookies参数来设置,不过这样就需要构造RequestsCookieJar对象,而且需要分割一下cookies。这相对繁琐，不过效果是相同的

import requests

#Cookie参数
Cookies ="1P_JAR=2020-04-17-06;
    NID=202=LQdy6FmSLcTT3ZmqeS4ajmEi4YKcAEz4DD9n1Kghv4lnwEu8b2b6K_3
    9tU-H0n0lkmLKQi3E2PDMKGuqCeT4fG7ixLfGSF91zLI8DfPLJ_To
    Gxb1oO7qNDq5mLRXtsFhTDGw4XYc7GX9a0BJP8JCNYjOpbkAwIploECTvGKmd3g"

#创建Jar对象
jar = requests.cookies.RequestsCookieJar()

#请求头
headers={
    "Host":"www.google.com",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb
    Kit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

    }

#使用分号将cookie参数分割开
for cookie in Cookies.split(';'):    
    key,value = cookie.split('=',1) #数字1代表只分开第一个带等号的
    #设置cookie
    jar.set(key,value)

#使用get请求网址
r = requests.get("http://www.google.com/",headers=headers)

#输出
print(r.text)

 3.会话维持

  在requests中,如果直接利用get()和post()等方法的确可以模拟网页的请求,但是这实际上是不同的会话，就相当于

浏览器打开一个网页，再次请求又打开一个网页,会话维持就是打开一个网页进行操作:

import requests

url = "http://httpbin.org/get"
#创建会话窗口
s = requests.Session()

#先访问网页
s.get(url)

#再次访问
r = s.get(url)

print(r.text)

 4.SSL证书验证

  此外,requests还提供了证书验证的功能。当发送HTTP请求的时候,它会检查SSL证书,我们可以使用verify参数

控制是否检查此证书。其实如果不加verify参数的话,默认是True，会自动验证。

 5.代理设置

代理就是防止自己的ip被封使用别人的ip

代理的使用用到proxies参数

"""
若代理需要使用HTTP Basic Auth：
   http://user:password@host:port
   proxies={
      "http":"http://user:password@host:port",
      
    }

除了基本的HTTP代理外,requests还支持SOCKS协议的代理:
   首先安装socks这个库:
      pip3 install 'requests[socks]'
   roxies={
      "http":"socks5://user:password@host:port",
      
    }


"""

import requests

url =""

proxies = {
    'https': 'https://128.199.252.41:44344',
    'http': 'https://128.199.252.41:44344'
}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}

r = requests.get(url,headers=headers,proxies=proxies,verify=False)

if r.status_code == requests.codes.ok:

    html = r.text
    
    print(html)

 6.超时设置

r = requests.get(url,headers=headers,timeout=1)

#连接和读取
r = requests.get(url,headers=headers,timeout=(5,11))

import requests

url ="http://www.google.com/"


headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}

r = requests.get(url,headers=headers,timeout=None) #永远不会超时

if r.status_code == requests.codes.ok:

    html = r.text
    
    print(html)

 7.身份认证

一般的使用情况

import requests

#导入身份认证
from requests.auth import HTTPBasicAuth

url ="https://account.cnblogs.com/signin?returnUrl=https%3A%2F%2Fi-beta.cnblogs.com%2Fposts%2Fedit-done%3BpostId%3D12652508"


headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/56.0.2924.87 Safari/537.36'
}
username = "xxxx"

#进行编码设置
username = username.encode('utf-8')

password = "xxxxx"

r = requests.get(url,headers=headers,auth=HTTPBasicAuth(username,password))

if r.status_code == requests.codes.ok:

    html = r.text
    
    print(html)

此外,requests还有其他认证方式,如OAuth认证,不过需要安装oauth包,安装命令

pip3 install requests_oauthlib

使用:

"""

官方文档:https://requests-oauthlib.readthedocs.org/

"""
import requests

from requests_oauthlib import OAuth1

url = ""

auth = OAuth1("","","","")

requests.get(url,auth=auth)

 8.Prepared Request

from requests import Request,Session


url = "http://httpbin.org/post"

data = {
     "name":"Julia"
    }

headers = {

   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb
    Kit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
    }

#会话窗口
s = Session()

req = Request('POST',url,data=data,headers=headers)

#会话窗口添加准备窗口
prepped = s.prepare_request(req)

#会话窗口发送请求
r = s.send(prepped)

print(r.text)

四.抓取(实战)

import requests
import re
import json
import time
from requests.exceptions import RequestException
#多线程
import threading

#传入url链接请求传回网页文本
def get_one_page(url):

    try:

        headers = {

       "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb
        Kit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
        }

        response = requests.get(url,headers=headers)

        if response.status_code == 200:

            return response.text
        
        return None
    except RequestException:

        return None

#解析网页，将传入的网页解析
def parse_one_page(html):


    #匹配模式     视频地址   图片   标题  注释
    pattern = re.compile('<div.*?"card".*?href="(.*?)".*?card-img-top lazyload.*?data-src="(.*?)".*?</a>.*?"card-block".*?"card-title m-t-0 m-b-10">(.*?)</h4></a>.*?"card-title m-t-0 m-b-10">(.*?)</h5></a>',re.S)

    #解析结果
    items = re.findall(pattern,html)

    print("正在解析...")

    for item in items:
        #生成器产生一次就消失,将数据以return方式传出
        yield{
          'video_url': item[0],
          'image': item[1],
          'title' : item[2],
          'note' : item[3]

            }

      
#将数据保存到文本文件
def write_to_file(content):

    with open("color.txt","a",encoding="utf-8") as f:
        
        #json.dumps()实现字典序列化，字典转化为字符串
        #print(type(json.dumps(content)))

        #写入
        f.write(json.dumps(content,ensure_ascii=False)+'
')


#将图片保存
def image_to_file(image_url,name):

    headers = {

       "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb
        Kit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
        }

    if re.match("http:",image_url) == None:

        image_url = "http:"+ image_url
    
    r = requests.get(image_url,headers=headers)

    with open(name+".jpg","wb") as f:

        f.write(r.content)

#改变地址进行翻页
def main(offset):

    #网址
    url = "https://page/8/#"+str(offset)

    #网页文本形式
    html = get_one_page(url)

    #解析匹配出来每一项里的项
    its = parse_one_page(html)

    print("第"+str(offset)+"页")

    for it in its:

        write_to_file(it)

        image_to_file(it["image"],it["title"])

        print("写入一次")

                
if __name__ == "__main__":

    for i in range(1,13):
        
        main(offset=i)
        
        time.sleep(1)

    print("完成")
        

多线程会更快