网络爬虫

火车头采集器,http://www.locoy.com/

如果你想自己写爬虫,可以用基于爬虫框架开发,例如python的scrapy。

假如是垂直爬虫的话,Java党推荐WebMagic。是引擎爬虫的话推荐用Nutch

scrapy是不错的选择,可以看看简单的入门教程

你可以试下神箭手云爬虫( http://www.shenjianshou.cn )

完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。

原文地址:https://www.cnblogs.com/zengkefu/p/5768732.html