认识爬虫

一、学爬虫前应该先清楚的问题。

1、爬虫是做什么的？

爬虫是将网页数据下载到本地或者数据库。

2、数据又是怎么来的？

数据是通过接口传输到前端的页面进行显示的。

3、如何提取自己想要的数据？

分析数据显示在哪些标签内。

以上是爬虫最基本要清楚的问题。

二、爬虫的思路

1、既然数据是存放到网页上，那么就应该先发送请求，获取数据存放页面的源代码。

2、分析源代码里面哪些数据是自己必须要的，将其拿到（最花费时间的一步）

3、在将数据保存到自己电脑或者数据库。