【Webscraper】不懂编程也能爬虫

一、配置环境

在浏览器中安装web scraper插件。

所有安装包下载链接: https://pan.baidu.com/s/1CfAWf0wMO6WqicoUgdYgkg 提取码: nn2e

安装教程:http://www.iwebscraper.com/webscraper-install/

安装成功后打开任意网站,按F12

 二、插件简单介绍

步骤

1、选择器选项

2、sitemap选项

 三、爬取58同城——多页爬取

 

 

 说明:爬取后有多余的换行和空格,在excel中使用trim和clean函数去除空格、换行

爬取多页(1-10页)

   

 

四、爬取微博——滚动爬取

element scroll down滚动爬取

 

五、点击爬取——爬取IT桔子和微博评论

IT桔子

 

微博评论

 

 

 要点解析

抓取多页的方法

 六、爬取拉勾网——二级目录的多页爬取

 

原文地址:https://www.cnblogs.com/little-monkey/p/11852365.html