通用爬虫：百度、360、搜狐、谷歌、必应.......
原理：
（1）抓取网页
（2）采集数据
（3）数据处理
（4）提供检索服务
百度爬虫：Baiduspider
通用爬虫如何抓取新网站？
（1）主动提交url
（2）设置友情链接
（3）百度会和DNS服务商合作，抓取新网站
检索排名
（1）竞价排名
（2）根据pagerank值排名，由访问量，点击量得出，SEO岗位做的工作
如果不想让百度爬虫你的网站：加一个文件robots.txt，可以限定哪些可以爬取我的网站，哪些不可以，例如淘宝的部分robots.txt内容：
User-agent: Baiduspider Allow: /article Allow: /oshtml Allow: /ershou Allow: /$ Disallow: /product/ Disallow: / User-Agent: Googlebot Allow: /article Allow: /oshtml Allow: /product Allow: /spu Allow: /dianpu Allow: /oversea Allow: /list Allow: /ershou Allow: /$ Disallow: /
这个协议仅仅是口头上的协议，真正的还是可以爬取的。
聚焦爬虫：根据特定的需求抓取指定的数据。
思路：代替浏览器上网
网页的特点：
（1）网页都有自己唯一的url
（2）网页内容都是HTML结构的
（3）使用的都是http,https协议
（1）给一个url
（2）写程序，模拟浏览器访问url
（3）解析内容，提取数据