Python爬虫入门教程 21-100 网易云课堂课程数据抓取

1.网易云课堂课程数据-写在前面

今天咱们抓取一下网易云课堂的课程数据,这个网站的数据量并不是很大,我们只需要使用requests就可以快速的抓取到这部分数据了。
你第一步要做的是打开全部课程的地址,找出爬虫规律,

地址如下:
https://study.163.com/courses/

在这里插入图片描述

我简单的看了一下,页面数据是基于
https://study.163.com/p/search/studycourse.json 这个地址进行异步加载的。你自己尝试的时候需要借助开发者工具
进行多次尝试,抓取到这个地址的数据为准。

还有一个地方需要注意,这次是post提交方式,并且提交数据是payload类型的,这个原因导致我们的代码和以前的略微有一些不同的地方。

在这里插入图片描述

提取

原文地址:https://www.cnblogs.com/hzcya1995/p/13311576.html