数据获取——爬虫-1

  • 从今天开始,我将在我的博客中更新我的学习笔记和我的学习心得。我现在正在学习崔庆才老师的爬虫相关课程。相关视频下载到本地大概也有将近一年了吧,对相关内容零零散散也看了有一些,总体来说没啥印象,更别说体系了。从上周开始,我立志一个月内将其看完,更新学习笔记。*

立志不做马来人!爬虫在行动

爬虫的基本流程

  1. 发起请求:HTTP库向目标站点发起请求(Request),Request中最好还包含一些配置信息,等待服务器响应。
  2. 获取相应内容:如果服务器正常相应,会返回相应的页面内容(Response);
  3. 解析内容:Response的类型有很多种,需要使用不同方法进行解析。
  4. 数据存储:根据要求存储为相应的类型。

请求(Request)和响应(Response)

什么是Request和Response

Figure 1 Request和Response之间关系

Request的类型

主要有GET和POST两种,其余请求方法不常用,所以进行解释

  1. GET:方便
    • 请求内容全部包含在网址中
    • 可以通过网址直接提交Request
  2. POST:安全
    • 请求内容包含在隐藏在FormData中
    • 构建FormData进行访问

URL

URL:统一资源定位器,定位网页中元素的下载位置。

  • 以下所有内容均可以在任意网页中按F12,在网页后端中看到,chrome中一般在“Elements"、”Source“、”Console“和“Network”选项卡中查找,FireFox浏览器“网络”、“控制台”和“查看器”选项卡中查找。*
  • 下述四个四项内容均在“网络”选项卡中,任意点开一个请求即可找到。 *

请求头

请求头中包含一些配置信息,包括浏览器信息。

请求体

请求时额外提交的信息,如POST中的FormData。

相应状态(status_code)

有多种相应状态:

  • 200:成功
  • 301:跳转
  • 404:找不到页面
  • 502:服务器错误

响应头(headers)

服务器对浏览器的一些设置要求。

响应体(text)

请求的资源内容

什么样的数据可以被抓取

  1. 网页文本:HTML或者Json格式文本
  2. 图片:获取二进制文件(content),保存问相应图片。
  3. 视频:方法同图片。
  4. 其他:能请求到的一切文件。

解析方式

  1. 直接处理:特别简单的网页(内容以字典形式存储)。
  2. json解析:
  3. 正则表达式:提取HTML代码中相应的文本。
  4. BeautifulSoup、pyQuery、Xpath等解析库

怎样解决Javascript渲染问题

  1. 分析Ajax请求。
  2. 使用Selenium、WebDriver模拟一个浏览器加载。
  3. 使用Splash
  4. pyV8、Gost.py模拟加载

存储数据

  1. 文本:纯文本、XML格斯、Json格式等。
  2. 关系型数据库:结构化表单存储
  3. 非关系型数据库:key-value型存储
  4. 二进制文件:视频、图片
原文地址:https://www.cnblogs.com/lizhe-Ning/p/11339541.html