爬虫基础1 怎么使用浏览器查看网络请求

推荐使用火狐和谷歌浏览器,一般两个对照着看。

 下面是两个浏览器对同一个网址的页面进行检查的,对比,火狐直接是中文显示,谷歌则是英文显示。

如下页面是火狐的

如下是谷歌浏览器的

下面是这些字段的介绍:

  1.Name:请求的名称,一般是会将URL的最后一部分内容当做名称

  2.Satus:响应的状态码,200代表响应成功。

  3.Type:请求的文档类型,这里是document,代表请求的是一个html文档,内容就是一些HTML代码。

  4.Initiator:请求源,用来标记请求是由那个对象或进程发起的。

  5.Size:从服务器下载的文件和请求资源的大小。如果是从缓冲中取得的资源,则该列会显示from memory cache

  6.Time:发起请求到获取响应所用的总时间

  7.Waterfall:网络请求的可视化pubuliu

 点击名字进去后,就可以看到更详细的内容,上面分别是Header,Preview,Response,Cookies,Timing等四个字段。请求头,预览,响应,cookies储存在用户本地终端上的数据,请求耗时时间。

 主要看消息头里面的东西

  General:  

    Requests URL:请求的url

    Request Method:请求方法

    Status Code:显示状态码

    Remote Address:域名对应的真实ip:port

    Referrer Policy:按照浏览器的默认值执行。默认值为 no-referrer-when-downgrade。部分标签可重定义此安全策略,当发生降级(比如从 https:// 跳转到 http:// )时,不传递 Referrer 报头。但是反过来的话不受影响。通常也会当作浏览器的默认安全策略。

 

  如上图所示,接着就是响应头

    Response Heasers:

      Connection:Keep-Alive             是否保持与服务器的tcp长连接。keep-alive(默认)

      Content-Encoding:gzip             web服务器支持的返回内容压缩编码类型 gzip

      Content-Length:3560                响应体的长度

      Content-Type:text/html             响应内容的格式/类型text/html;charset=UTF-8标识返回的内容是文本类型,html格式。

      Date:Tue, 13 Nov 2018 07:25:51 GMT         消息发出时间(GMT) Sat, 23 Apr 2016 07:47:54 GMT GMT+8=北京时间

      Keep-Alive:timeout=5, max=100               

      Server:Apache/2.2.22            请求服务器的类型

      Vary:Accept-Encoding              提示使用缓存响应还是从原始服务器请求,即当缓存中存在一个未过期的响应是否能被后续的请求服用,Accept-Encoding、User-Agent。如果vary的值中返回了User-Agent,那么通过不同的浏览器打开相同的页面都会重新请求服务器;如果Vary中没返                            回User-Agent,那么客户端缓存把它看成是相同的页面,相同的请求,直接给用户返回缓存的内容;如果返回的值是Accept-Encoding,将请求头信息中的Accept-encoding字段的值(gzip等)作为缓存的key;如果vary的值为*表示缓存不会去做判断

      X-Powered-By:PHP/5.4.38-0+deb7u1                  告知网站是用何种语言或框架编写的

 

如上图所示,接着就是请求头:

  Request Headers: 

  1. Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
  2. Accept-Encoding:gzip, deflate
  3. Accept-Language:zh-CN,zh;q=0.9
  4. Cache-Control:max-age=0
  5. Connection:keep-alive
  6. Cookie:__gads=ID=3a97ca9ef908e54d:T=1538967008:S=ALNI_MYEP2O2reQ4sADI3Nk4aUK6fRoMpQ; __utmz=62705790.1538967019.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=62705790.157587332.1538967018.1542090732.1542093734.5;   __utmc=62705790;__utmt=1;__utmb=62705790.1.10.1542093734
  7. Host:www.cplusplus.com
  8. Upgrade-Insecure-Requests:1
  9. User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36              发出请求的客户端信息

 

原文地址:https://www.cnblogs.com/AlfredZKY/p/9952477.html