网络爬虫协议robots.txt

bobots.txt 文件位置：

网站根目录：/var/www/html/robots.txt

文件内容：

User-agent: * 
Disallow: /?* 
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Allow: /

---

若某网站无robots.txt文件，即默认对于爬虫无限制

 

而实际上，robots协议只是一个说明文件，指出需遵守的爬虫协议，并没有实际的限制效果