常见的爬虫技术点

1.　　可配置爬虫

　　　　。爬虫的启动停止（os.system)

　　　　。爬虫基本爬取数据的设置（起始网页，解析规则，停止条件）

　　　　。爬虫的进度指示

　　　　。爬虫的数据存储

2.　　增量爬虫

　　　　。怎么知道爬取的改变

3.　　分布式爬虫

4.　　反爬虫