Yuuuuuu

标签搜索

搜索到 2 篇与的结果

Python使用芝麻代理维护一个健康可用的IP池

Python使用芝麻代理维护一个健康可用的IP池

最近有个需求要用Python做一个爬虫不间断运行，但是对方网站做了比较严格的反爬，然后就选择了用随机header和代理。刚开始的时候使用的免费代理，后来发现免费才是最贵的，经常失效或者连接不上，于是改为使用付费代理，最后选择了芝麻代理但是爬虫每秒请求可能为5QPS左右，芝麻代理默认请求为1QPS，所以只能采取维护一个代理池的方式，每次请求从中随机选取。刚开始的时候使用的是购买套餐，后来发现并不划算，套餐每天有使用上限，IP存活时间长的，上限数量就低，IP上限高的，存活时间又比较低，有预算上限的长时间爬虫类项目可以选择IP存活时间长的套餐，把维护IP池数量稍微降低一点，勉强够用一天了。不过后期还是建议使用按次购买，控制好频率就不怕超限。注意IP获取不计次，但是一旦使用就会计次之前没经验选择5分钟套餐，不到两点IP用量就要到上限了，选套餐还是建议存活时间长的这个维护IP池同时支持套餐和按次收费，所以也不用太过纠结首先你要获取到你的AppKey和Neek参数，在官网提取IP生成的API链接里可以获取到http://h.zhimaruanjian.com/getapi/#obtain_i...

2020年10月23日

1,913 阅读

0 评论

AttributeError: 'module' object has no attribute 'X509_up_ref'

AttributeError: 'module' object has no attribute 'X509_up_ref'

在Python项目中出现报错From cffi callback <function _verify_callback at 0x7f53ec1d2ed8>: Traceback (most recent call last): File "/usr/lib64/python2.7/site-packages/OpenSSL/SSL.py", line 309, in wrapper _lib.X509_up_ref(x509) AttributeError: 'module' object has no attribute 'X509_up_ref'解决办法卸载再重装pyOpenSSLpip uninstall pyOpenSSL pip install pyOpenSSL

2019年09月17日

2,159 阅读

0 评论