Python爬虫入门教程 19-100 51CTO学院IT技术课程抓取

0. 51CTO学院写在前面

从今天开始的几篇文章,我将就国内目前比较主流的一些在线学习平台数据进行抓取,如果时间充足的情况下,会对他们进行一些简单的分析,好了,平台大概有51CTO学院CSDN学院网易云课堂慕课网等平台,数据统一抓取到mongodb里面,如果对上述平台造成了困扰,请见谅,毕竟我就抓取那么一小会的时间,不会对服务器有任何影响的。

2018102918293165.jpg

1. 51CTO学院目标网站

今天的目标网站是 http://edu.51cto.com/courselist/index.html?edunav 数据量大概在1W+,还不错
在这里插入图片描述

2. 51CTO学院-分析页面需要的信息

下图标注的框框,就是我们需要的信息了
html>

原文地址:https://www.cnblogs.com/hzcya1995/p/13311579.html