爬虫的一些个人想法

针对scrapy框架：

1. 不需要不整个网站一次性抓取下来，因为在抓取的过程中很有可能被ban，所有根据网站的层次结构，一层一层进行抓取。这样就算爬虫被ban也可以把上一层的url保存在数据库中,以便下次使用