动态加载网页的爬取总结

# 动态加载网页的爬取
ajax的介绍
ajax全称'Asynchronous Javascript And XML'(异步JavaScript和XML)
是指一种创建交互式网页应用的网页开发技术
通过在后台与服务器进行少量数据交换,ajax可以使网页实现异步更新
这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新

ajax的网页特点
1:网页加载速度快
2:不刷新网页就能更新信息
3:最重要的:源代码的内容与网页的内容不同

从js文件读取内容
1:审查元素列出js文件
2:寻找可疑文件
3:解析js文件内容

构造目标地址方法有三种
1: 根据规律构造.如页数,每页的个数,其实数
2: 来自某一个文件的一个组成元素, 在第一个文件里找到第二个文件需要的元素,常见于id,cid,vid
3: 手动生成, 常见的有时间戳:time.time()
原文地址:https://www.cnblogs.com/themost/p/7101623.html