Python网络爬虫Scrapy框架研究 以及 代理设置

地址:https://github.com/yidao620c/core-scrapy

例子:https://github.com/geekan/scrapy-examples

中文翻译文档:

https://github.com/marchtea/scrapy_doc_chs

基于redis的分布式爬虫策略

http://m.blog.csdn.net/article/details?id=50989104

代理地址:

https://github.com/aivarsk/scrapy-proxies

有关代理的文章:

http://www.php101.cn/2015/03/27/Scrapy%E4%B9%8B%E6%97%85(1)%E4%BD%BF%E7%94%A8http_proxy/

http://www.cnblogs.com/rwxwsblog/p/4575894.html

http://www.coder4.com/archives/4411

http://blog.michaelyin.info/2014/02/19/scrapy-socket-proxy/ 很短的一篇文章,可以尝试下

http://www.coder4.com/archives/4411 参考上文的

原文地址:https://www.cnblogs.com/zl0372/p/Scrapy_study2.html