BUFF和steam的CSGO饰品价格爬取的优化改进


前些天在CSDN上看见某dalao的buff开源爬虫,没有上代理,config也只能在.ini里改,爬2000个商品花了很久

想着能不能改一下,就改了一下

。增加了从快代理上的动态爬取到的proxy

。发现proxy在requests下好用一些。

。后来又增加了利用logging模块的set方法来实现快捷更改关键参数,每次运行都能进行最高最低价的修改之类的

(悄咪咪说一句,原作者我联系不上,所以本程序仅供参考学习交流,禁止用于商业用途)

(嘛~~~如果是自己用来赚点差价买骑砍的话,原作者应该也不会生气叭*(੭*ˊᵕˋ)੭*ଘ)

这个爬虫相对来说还是很基础的,我特意做了全注释,各位可以download下来学习

github地址:嘚嘚嘚嘚嘚嘚嘚嘚嘚~各位不要再白嫖了,点个star吧QWQ

直接跑BUFFPriceSpider就可以,关键参数在运行前会提示是否修改的。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM