入门爬虫-requests模块

    requests模块:python原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高,

  作用:模拟浏览器发送请求。

  需要在你的应用程序中导入该模块,首先安装。

搜索requests

然后点击下面的install即可,在项目中就可用通过,import requests引用

  requests编码流程:

    1、指定url地址

    2、发送请求

    3、获取响应数据

    4、持久化存储

  测试代码:

    

import requests

url = "https://www.sogou.com/"
resp = requests.get(url=url)
# 解决爬到内容的中文乱码问题
resp.encoding = 'utf-8'
resp_text = resp.text
print(resp_text)
with open('D:StudyPythonscrapysougou.html','w',encoding='utf-8') as fp:
    fp.write(resp_text)
    print("爬取成功")

    学习网站推荐:https://www.bilibili.com/video/BV1Yh411o7Sz?p=5

  

原文地址:https://www.cnblogs.com/moxihuishou/p/13951726.html