TypechoJoeTheme

Yuuuuuu

Yuuuuuu

网站页面
类目归类
标签搜索

最新文章

2020-10-23

Python使用芝麻代理维护一个健康可用的IP池
Python使用芝麻代理维护一个健康可用的IP池
最近有个需求要用Python做一个爬虫不间断运行，但是对方网站做了比较严格的反爬，然后就选择了用随机header和代理。刚开始的时候使用的免费代理，后来发现免费才是最贵的，经常失效或者连接不上，于是改为使用付费代理，最后选择了芝麻代理但是爬虫每秒请求可能为5QPS左右，芝麻代理默认请求为1QPS，所以只能采取维护一个代理池的方式，每次请求从中随机选取。刚开始的时候使用的是购买套餐，后来发现并不划算，套餐每天有使用上限，IP存活时间长的，上限数量就低，IP上限高的，存活时间又比较低，有预算上限的长时间爬虫类项目可以选择IP存活时间长的套餐，把维护IP池数量稍微降低一点，勉强够用一天了。不过后期还是建议使用按次购买，控制好频率就不怕超限。注意IP获取不计次，但是一旦使用就会计次之前没经验选择5分钟套餐，不到两点IP用量就要到上限了，选套餐还是建议存活时间长的这个维护IP池同时支持套餐和按次收费，所以也不用太过纠结首先你要获取到你的AppKey和Neek参数，在官网提取IP生成的API链接里可以获取到http://h.zhimaruanjian.com/getapi/#obtain_i...
2020年10月23日
1,919 阅读
0 评论
2020-10-15

Centos添加新硬盘扩容根目录
Centos添加新硬盘扩容根目录
云服务器新挂载了一块硬盘，还没分区，想要直接扩容到根目录，想要做到无缝扩容。进入系统查看，新硬盘名称是vdb，100G的lsblk然后我们通过LVM，逻辑卷管理的方式挂载到vda上面这里引用下别人的介绍LVM简单介绍： 它是 Linux 下对磁盘分区进行管理的一种机制。LVM 是建立在磁盘分区和文件系统之间的一个逻辑层，系统管理员可以利用 LVM 在不重新对磁盘分区的情况下动态的调整分区的大小。如果系统新增了一块硬盘，通过 LVM 就可以将新增的硬盘空间直接扩展到原来的磁盘分区上。 通过 LVM 技术，可以屏蔽掉磁盘分区的底层差异，在逻辑上给文件系统提供了一个卷的概念，然后在这些卷上建立相应的文件系统。下面是 LVM 中主要涉及的一些概念。 物理存储设备(Physical Media)：指系统的存储设备文件，比如 /dev/sda、/dev/sdb 等。 PV(物理卷 Physical Volume)：指硬盘分区或者从逻辑上看起来和硬盘分区类似的设备(比如 RAID 设备)。 VG(卷组 Volume Group)：类似于非 LVM 系统中的物理硬盘，一个 LVM 卷组由一个或...
2020年10月15日
1,517 阅读
0 评论
2020-10-07

PHP使用mkdir创建目录后无法写入问题
PHP使用mkdir创建目录后无法写入问题
今天使用php的mkdir递归创建文件夹，创建完之后的文件夹权限是d-wxr----x也就是411，而且用chmod也没法改权限，只能sudo rm -rf 删除它原因：代码错误，mkdir函数的第二个参数不应使用字符串参数'0755'，而是使用0755值错误代码：mkdir('dir_path','0755',true);正确代码：mkdir('dir_path',0755,true);
2020年10月07日
1,213 阅读
0 评论
2020-09-04

网页快照几种实现方案参考
网页快照几种实现方案参考
(一)、HTML转图片1.使用 html2canvas 制作网页快照（1）介绍官网： https://html2canvas.hertzen.com/Html2canvas是一个JS库，通过在web引入JS的方式，点击按钮后可以根据ID呼叫需要制作快照的标签，会根据标签制作成图片。（2）使用方法如需要制作快照的html为：<div id="capture" style="padding: 10px; background: #f5da55"> <h4 style="color: #000; ">Hello world!</h4></div>那么使用html2canvas 制作快照只需要html2canvas(document.querySelector("#capture")).then(canvas => { document.body.appendChild(canvas)});（3）特征其支援的WebBrowser包含Fire...
2020年09月04日
2,392 阅读
0 评论
2020-09-04

wkhtmltopdf中文参数详解
wkhtmltopdf中文参数详解
wkhtmltopdf [OPTIONS]... <input file> [More input files] <output file> 常规选项 --allow <path> 允许加载从指定的文件夹中的文件或文件（可重复） --book* 设置一会打印一本书的时候，通常设置的选项 --collate 打印多份副本时整理 --cookie <name> <value> 设置一个额外的cookie（可重复） --cookie-jar <path> 读取和写入的Cookie，并在提供的cookie jar文件 --copies <number> 复印打印成pdf文件数（默认为1） --cover* <url> 使用HTML文件作为封面。它会带页眉和页脚的TOC之前插入 --custom-header <name> <value> 设置一个附加的HTTP头（可重复） --debug-javascript...
2020年09月04日
1,606 阅读
0 评论
2020-06-19

解决Hbuilder打包的app返回键直接退出
解决Hbuilder打包的app返回键直接退出
问题描述：Hbuilder打包的app如果点击手机返回键，app会直接退出，返回不了上一页。解决子页面点击返回键直接退出，而不是返回上一级，代码如下： //写一段JS代码，放到所有公共JS里面就可以 <script type="text/javascript"> document.addEventListener('plusready', function() { var webview = plus.webview.currentWebview(); plus.key.addEventListener('backbutton', function() { webview.canBack(function(e) { if(e.canBack) { webview.back(); } else { webview.close(); //hid...
2020年06月19日
1,076 阅读
0 评论
2020-06-16

简单的身份证号码计算方法
简单的身份证号码计算方法
function checkIDCard($idcard){ // 只能是18位 if(strlen($idcard)!=18){ return false; } // 取出本体码 $idcard_base = substr($idcard, 0, 17); // 取出校验码 $verify_code = substr($idcard, 17, 1); // 加权因子 $factor = array(7, 9, 10, 5, 8, 4, 2, 1, 6, 3, 7, 9, 10, 5, 8, 4, 2); // 校验码对应值 $verify_code_list = array('1', '0', 'X', '9', '8', '7', '6', '5', '4', '3', '2'); // 根据前17位计算校验码 $total = 0; ...
2020年06月16日
1,285 阅读
0 评论
2017 - 2024 © Reach - Icucoo
皖ICP备2024038326号-1