1.爬虫尺寸
小规模，数据量小，爬取速度不敏感，Requests库，爬取网页
中规模，数据规模较大，爬取速度敏感，Scrapy库，爬取网站
大规模，搜索引擎，爬取速度关键，定制开发，爬取全网
2.引发问题：性能骚扰，法律风险，隐私泄露
3.爬虫限制
来源审查：判断User‐Agent进行限制
检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问
发布公告：Robots协议
告知所有爬虫网站的爬取策略，要求爬虫遵守
4.robots协议
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件
基本语法：
# 注释，*代表所有，/代表根目录
User‐agent: *
Disallow: /
（1）.User-agent 定义搜索引擎。
（2）.Disallow 禁止爬取
（3）.Allow 允许。
（4）.$ 结束符。例：Disallow: .php$ 这句话的意思是，屏蔽所有的以.php结尾的文件，不管前面有多长的URL
（5）.* 通配符符号0或多个任意字符。
（6）.sitemap：这个告诉搜索引擎你的sitemap在哪