1. spider 1.1 robots.txt 1.2 ads.txt 1.3 security.txt 1.4 blogger.com 上的 robots.txt和ads.txt 2. 爬虫软件列表 2.1 介绍一些比较方便好用的爬虫工具和服务 2.2 33款可用来抓数据的开源爬虫软件工具(全都没试过) 3. 更多相关
1. spider
https://en.wikipedia.org/wiki/Web_crawler
https://zh.wikipedia.org/zh-hans/網路爬蟲
网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。
网络爬虫也可称作网络蜘蛛[1]、蚂蚁、自动索引程序（automatic indexer），或（在FOAF软件中）称为网络疾走（web scutter）。
1.1 robots.txt
放在网页服务器上，告知网络蜘蛛哪些页面内容可获取或不可获取。
https://zh.wikipedia.org/wiki/Robots.txt
https://en.wikipedia.org/wiki/Robots_exclusion_standard
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。
robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有与没有斜杠“/”表示的是不同的URL。robots.txt允许使用类似"Disallow: *.gif"这样的通配符[1][2]。
其他的影响搜索引擎的行为的方法包括使用robots元数据：
<meta name="robots" content="noindex,nofollow" />
humans.txt
https://en.wikipedia.org/wiki/Robots_exclusion_standard#Alternatives
1.2 ads.txt
a standard for listing authorized ad sellers 列出授权的标准
https://en.wikipedia.org/wiki/Ads.txt
1.3 security.txt
a file to describe the process for security researchers to follow in order to report security vulnerabilities
描述安全研究人员为了报告安全漏洞而要遵循的过程的文件
https://en.wikipedia.org/wiki/Security.txt
1.4 blogger.com 上的 robots.txt和ads.txt
- 设置 搜索偏好设置 抓取工具和编入索引
- 自定义 robots.txt这段文字将代替默认的 robots.txt 内容投放到搜索引擎。请谨慎使用。
- 自定义 robots 标头标记这些标记用于设置投放到搜索引擎的 robots 标头标记。请谨慎使用。
- 设置 搜索偏好设置 获利
- 自定义 ads.txt您可以使用 ads.txt 文件具体识别和授权数字广告资源的转销商。
- https://draft.blogger.com/go/adstxt
- https://developers.google.com/search/reference/robots_meta_tag?hl=zh
- 广告资源管理 > ads.txt 指南
2. 爬虫软件列表
2.1 介绍一些比较方便好用的爬虫工具和服务
https://zhuanlan.zhihu.com/p/57678048
介绍一些比较方便好用的爬虫工具和服务
| Chrome 扩展 | Web Scraper | webscraper.io | 累计下载30w，点选式的数据抓取，有自己的 Cloud Scraper，支持定时任务、API 式管理、代理切换功能。可导出CSV 等 |
| Data Scraper | Data-miner.io | 免费版本每个月只能爬取 500 个页面 可导出CSV 等 | |
| Listly | listly.io | excel | |
| Mercury | mercury.postlight.com | ||
| 框架 | Scrapy | scrapy.org | Python 爬虫学习者使用最多的爬虫框架 |
| PySpider | github.com/binux/pyspider | 基于Python, 可视化的管理，在线编程。分布式爬取，可存储到各种数据库。代码来实现编程，可扩展性很强的，简单易用。 | |
| Apify | sdk.apify.com | 基于Node.js, 可定制化也非常强，支持各种文件格式的导出，并且支持和 Apify Cloud 的对接实现云爬取。 | |
| 商业 服务 |
Parsehub | www.parsehub.com | (Mac,Windows,Linux), Firefox扩展, 导出为 JSON, CSV, Google 表格等,基于Web, 可以使用机器学习技术识别复杂的文档. 免费版本限制为 5 个项目，每次限制爬取 200 页 |
| Dexi.io | dexi.io | 可视化点击抓取，自然语言解析工具，网页端完成，可通过控制台来完成任务的运行和调度。提供代理 IP，与第三方集成: http://Box.net、Google Drive 等工具。(之前叫CloudScrape) | |
| Octparse | www.octoparse.com | 免费版支持创建 10 个爬取的基础服务 | |
| Content Grabber | www.contentgrabber.com | 有验证码识别等解决方案，并使用 Nohodo 作为 IP 代理。数据支持导出常用格式，也支持 PDF 格式导出。 | |
| Mozenda | www.mozenda.com | 提供了 FTP、亚马逊 S3、Dropbox 等的支持。 | |
| ScraperAPI | www.scraperapi.com | 提供简易的页面渲染服务，通过 API 来操作的 | |
| Diffbot | www.diffbot.com | 通过机器学习算法、图像识别、自然语言处理等方案综合解析，可说是目前业界数一数二的页面智能解析方案。 | |
| Import.io | www.import.io | 提供了从数据爬取、清洗、加工到应用的一套完整解决方案 | |
| Embed.ly | embed.ly | 智能化页面解析方案，类似 Diffbot，可以自动完成页面的解析。 | |
| ScrapeStorm | www.scrapestorm.com | (Mac,Windows,Linux), 支持自动识别翻页, 自动识别内容, JavaScript 渲染, 模拟登录爬取等等。里面是后裔采集器？ | |
| Shenjianshou 神箭手 |
www.shenjian.io | 国内数一数二的爬虫平台。旗下后裔采集器，就是上文介绍的 ScrapeStorm 所采用的爬取工具. | |
| Bazhuayu 八爪鱼 |
www.bazhuayu.com | 国内比较知名的采集器，功能类似后裔采集器，可以通过可视化点选完成爬虫的相关配置，部分功能比后裔采集器更加强大。 | |
| Zaoshu | zaoshu.io | 目前已经不面向于个人用户，主要是提供企业数据服务 |
推荐的爬虫工具, 上文中绿色的2个，就认识Web Scraper。
Scrapy 看起来比较热门。
https://zh.wikipedia.org/wiki/Scrapy
https://en.wikipedia.org/wiki/Scrapy
Scrapy（/ˈskreɪpi/ SKRAY-pee[2]是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的程序框架。该框架主要由Scrapinghub 公司进行维护。
2.2 33款可用来抓数据的开源爬虫软件工具(全都没试过)
http://www.woshipm.com/xiazai/216336.html
| Arachnid | GPL | Java | OS | 小型HTML解析器 | http://www.woshipm.com/xiazai/216336.html |
| crawlzilla | Apache License 2 | Linux | 中文分词能力 | https://github.com/shunfa/crawlzilla | |
| Ex-Crawler | GPLv3 | Java | 跨平台 | 守护进程执行，数据库存储 | |
| Heritrix | Apache | Java | 跨平台 | 严格遵照robots文件的排除指示和META robots标签 | https://github.com/internetarchive/heritrix3 |
| heyDr | GPLv3 | Java | 跨平台 | 轻量级开源多线程垂直检索爬虫框架 | |
| ItSucks | Java | 提供swing GUI操作界面 | |||
| jcrawl | Apache | Java | 跨平台 | 轻量、性能优良 | |
| Jspider | LGPL | Java | 跨平台 | 功能强大，容易扩展 | |
| Leopdo | Apache | Java | 跨平台 | 全文和分类垂直搜索，以及分词系统 | |
| MetaSeeker | 网页抓取、信息提取、数据抽取工具包 | www.敏敏词.com/cn/node/download/front | |||
| Playfish | MIT | Java | 跨平台 | 通过XML配置文件实现可定制与可扩展 | |
| Spiderman | Apache | Java | 跨平台 | 灵活、扩展性强，微内核+插件式架构，简单的配置完成抓取，无需编写代码 | |
| webmagic | Apache | Java | 跨平台 | 国产开源软件 | http://git.oschina.net/flashsword20/webmagic |
| Web-Harvest | BSD | Java | 运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作，可视化界面 | ||
| WebSPHINX | Apache | Java | 爬虫工作平台和WebSPHINX类包 | ||
| YaCy | GPL | Java Perl | 跨平台 | 基于P2P的分布式Web搜索引擎 | |
| QuickRecon | GPLv3 | Python | Windows Linux | 具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能 | |
| PyRailgun | MIT | Python | 跨平台 | 简洁、轻量、高效的网页抓取框架 (国产) | https://github.com/princehaku/pyrailgun#readme |
| Scrapy | BSD | Python | 跨平台 | 基于Twisted的异步处理框架，文档齐全 | https://github.com/scrapy/scrapy |
| hispider | BSD | C++ | Linux | 支持多机分布式下载, 支持网站定向下载 | |
| larbin | GPL | C/C++ | Linux | 高性能的爬虫，只负责抓取不负责解析 | |
| Methabot | C/C++ | Windows Linux | 速度优化, 可抓取web, ftp及本地文件系统 | http://www.oschina.net/code/tag/methabot | |
| NwebCrawler | GPLv2 | C# | Windows | 统计信息、执行过程可视化 | http://www.open-open.com/lib/view/home/1350117470448 |
| Sinawler | GPLv3 | C# .NET | Windows | 国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”。 | |
| spidernet | MIT | C# | Windows | 以递归树为模型的多线程web爬虫程序，支持以GBK (gb2312)和utf8编码的资源，使用sqlite存储数据 | https://github.com/nsnail/spidernet |
| Web Crawler | LGPL | Java | LGPL | 多线程，支持抓取PDF/DOC/EXCEL等文档来源 | |
| 网络矿工 | BSD | C# .NET | Windows | 功能丰富，毫不逊色于商业软件 (原soukey采摘) | |
| OpenWebSpider | PHP | 跨平台 | 开源多线程网络爬虫，有许多有趣的功能 | ||
| PhpDig | GPL | PHP | 跨平台 | 具有采集网页内容、提交表单功能 | http://www.phpdig.net/navigation.php?action=demo |
| ThinkUp | GPL | PHP | 跨平台 | 采集推特、脸谱等社交网络数据的社会媒体视角引擎，可进行交互分析并将结果以可视化形式展现 | https://github.com/ThinkUpLLC/ThinkUp |
| 微购 | GPL | PHP | 跨平台 | 基于ThinkPHP框架开发的开源的购物分享系统 | http://tlx.wego360.com/ |
| Ebot | GPLv3 | ErLang | 跨平台 | 可伸缩的分布式网页爬虫 | https://github.com/matteoredaelli/ebot |
| Spidr | MIT | Ruby | 可将一个或多个网站、某个链接完全抓取到本地 |
3. 更多相关
为何大量网站不能抓取?爬虫突破封禁的6种常见方法
https://www.cnblogs.com/junrong624/p/5533655.html
当爬虫被拒绝时(Access Denied)
https://www.cnblogs.com/FengYan/archive/2012/07/31/2614335.html
反爬虫四个基本策略 (转自上文)
https://www.cnblogs.com/junrong624/p/5508934.html