爬虫基础总结1 html 爬虫基础 概念 模拟浏览器发送网络请求，获取响应 分类 通用爬虫 搜索引擎的爬虫，面对整个互联网上所有的网站 聚焦爬虫 针对特定网站的爬虫 分类标准：爬虫爬取的范围 流程 1.url 2.发送请求，获取响应 (提取url地址，发送下一次请求) 3.提取数据 保存 rebots协议 道德层面的约束 数据应用 展示数据 进行数据分析等后续工作 HTTPS和HTTP 概念 https: http+ssl http: 超文本传输协议 https更安全，性能更低 浏览器发送请求的流程 1.url 2.dns服务器获取域名的ip地址 3.请求ip url对应的响应+css+js+png 注意：浏览器渲染出来的内容(elements)和url地址对应的响应不一样 url 协议 瞄点加不加，返回的响应一样 http协议的内容 1.请求行 2.请求头 User-Agent 用户代理。告诉服务器当前发送请求的是什么样的程序 Cookies 1.获取登录后的页面 2.对方的服务器通过cookie判断程序是否为爬虫 3.请求体 Post请求才有请求体 请求方法 get post 表单 发送的数据量比较大的时候 (参数较多) 状态码 200：成功 302,307：重定向 404：资源不存在 500：服务器内部错误 字符串处理 str bytes.decode() bytes str.encode() Ascii,gbk,unicode字符集 Ascii使用一个字节表示一个字符，unicode使用2个字节表示一个字符 utf-8是unicode的一种实现方式，可变长的编码方式 requests 发送请求 requests.get(url) 获取响应的html字符串 response.content bytes response.content.decode() response.text str response.encoding来指定编码格式 解决requests中编码的问题 response.content.decode() resopnse.content.decode('gbk') response.text gbk<gb2312<gb18030
