大多数Google Analytics用户都知道，GA是通过Javascript标记来进行流量监控，是无法跟踪到搜索引擎爬虫记录的。唯一能够跟踪和分析爬虫的状况的是 分析Web日志。有两个法国朋友发现了一个解决办法，可以在Google Analytics里监控到爬虫动态，爬虫什么时候访问了网站、爬行了什么网页等等。
以上摘
之前一直希望统计功能具有分析爬虫的功能，结果没有，现在想想也是，js没办法分析agent
今天在nginx上使用grep查看了一下爬虫的信息，google爬的勤，baidu爬虫已经来光顾了，但是每次只是访问一下，看看我的网站有没有反应，我当然给了个200了，呵呵，现在baidu还没有收录，我在观察，