爬取异步请求网站思路

本人先整理一遍思路

1 源码内找不到搜索的内容:

  1.1 ajax请求,也就是本文的内容

  1.2 数据经过加密需要js进行解密

2 如果是ajax请求,我们可以通过抓包,对其进行请求进行分析,

  2.1 找到我们需要的通过异步请求的url,

  2.2 对其response进行分析,找到我们的数据。

3 请求该url,在这过程中看看需不需要获取cookie,也就是需要验证身份后才能请求

  

原文地址:https://www.cnblogs.com/fuzzier/p/7551674.html