Python爬虫Dota排行榜爬取

1、分析网站

打开开发者工具,我们观察到排行榜的数据并没有在doc里


doc文档

在Javascript里我么可以看到下面代码:


ajax的post方法异步请求数据

在 XHR一栏里,我们找到所请求的数据


json存储的数据

请求字段为:


post请求字段

2、伪装浏览器,并将json数据存入excel里面

获取信息
 

将数据保存到excel中

3、结果展示

学习过程中遇到什么问题或者想获取学习资源的话,欢迎加入学习交流群
626062078,我们一起学Python!

原文地址:https://www.cnblogs.com/jiaoyu121/p/6957374.html