爬虫学习(三)Chrome浏览器使用

一、新建隐身窗口

在打开隐身窗口的时候,第一次请求某个网站是没有携带cookie的,和代码请求一个网站一样,不携带cookie。这样就能够尽可能的理解代码请求某个网站的结果;除非数据是通过js加载出来的,不然爬虫请求到的数据和浏览器请求的数据大部分时候都是相同的。

二、Chrome中Network功能

1、Perserve log

默认情况下,页面发生跳转之后,之前的请求url地址等信息都会消失,勾选“perserve log”后之前的请求都会被保留

2、Filter过滤

在url地址很多时,可以输入url进行过滤

3、观察特点种类的请求

默认是选择all,即观察所有种类请求。

其他选项:

  • XHR:大部分情况表示ajax请求。
  • JS:js请求。
  • CSS:css请求。
  • Img:图片请求。

三、找POST请求的URL和要发送的数据

1、通过表单找出POST的URL

  • 使用chrome浏览器的选择工具,选择表单的输入框,看Elements中的定位的位置,向上找from标签中的action属性中的URL
  • 如果没有action,就说明它是通过js发送的请求,那就监听它的按钮点击事件,找到对应的js

总结:有form表单, 并且form表单有action属性。POST请求URL: form表单的action属性上;POST请求数据: form表单的input标签的name属性上。

2、使用Network监听按钮点击事件,找出POST的URL

  • 点击chrome浏览器的Network
  • 勾选Preserve log按钮,保留页面跳转前的请求
原文地址:https://www.cnblogs.com/chjxbt/p/11365360.html