BUFF和steam的CSGO饰品价格爬取的优化改进

前些天在CSDN上看见某dalao的buff开源爬虫,没有上代理,config也只能在.ini里改,爬2000个商品花了很久

想着能不能改一下,就改了一下

。增加了从快代理上的动态爬取到的proxy

。发现proxy在requests下好用一些。

。后来又增加了利用logging模块的set方法来实现快捷更改关键参数,每次运行都能进行最高最低价的修改之类的

(悄咪咪说一句,原作者我联系不上,所以本程序仅供参考学习交流,禁止用于商业用途)

(嘛~~~如果是自己用来赚点差价买骑砍的话,原作者应该也不会生气叭*(੭*ˊᵕˋ)੭*ଘ)

这个爬虫相对来说还是很基础的,我特意做了全注释,各位可以download下来学习

github地址:嘚嘚嘚嘚嘚嘚嘚嘚嘚~

直接跑BUFFPriceSpider就可以,关键参数在运行前会提示是否修改的。

原文地址:https://www.cnblogs.com/Nortonary/p/12828518.html