现状:
1、网上提供代理IP池的解决方案非常多,价格也有高有低,包天/月/年的都有,品质都要靠自己去尝试。
2、试过之后,发现成本相对高,每月要花200~300元, 所以希望研究一下是否有更性价比高的解决方案
分析思路:
1、网上介绍的ADSL拨号方案,需要到运营商处申请固网宽带,有点麻烦,成本能控制在100左右
2、手机数据卡无限流量方案,一般在40GB流量之后会限速,手机ip地址可以更新,从而走新的公网ip(NAT方案),价格在50左右(手机可以买二手的,200以内)
2.1、运营商提供上网的方案一般是公网IP池共享,手机终端获得内网IP地址,运营商通过NAT方式,让手机最终能上外网;
2.2、当手机终端更换IP地址后,将会重新从公网IP池拿一个ip做NAT,遇到同一个ip的可能性不算大;
设计方案:
1、电脑上的爬取数据程序,走手机路由(华为手机开启USB共享网络)
2、电脑上的其他程序,走办公路由
3、当爬虫程序请求发现ip地址被封杀之后,通过adb shell命令,将手机的ip地址重置,参见博文: python3 控制安卓手机的飞行模式遇到的问题汇总
python指定请求走指定ip出口,代码如下
#coding=utf-8 import requests,sys,socket from requests_toolbelt.adapters import source #本机有多个ip地址上网,走指定ip地址出口发起请求 s = requests.Session() new_source = source.SourceAddressAdapter('192.168.124.20') s.mount('http://', new_source) s.mount('https://', new_source) print(s.get('http://www.baidu.com/'))
其中有个模块(requests_toolbelt), 需要提前下载好
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests_toolbelt
手机启动usb共享网络后,电脑上会出现两条缺省路由,需要操作办公网口,打开tcp/ip协议,高级,编辑默认网关的跃点数为1,重新启用网卡后,跃点数显示为2,优先级已经很高,所有网络请求如果不特殊说明,都会走124网段出去
IPv4 路由表 ================================================== 活动路由: 网络目标 网络掩码 网关 接口 跃点数 0.0.0.0 0.0.0.0 192.168.42.129 192.168.42.37 10 0.0.0.0 0.0.0.0 192.168.124.1 192.168.124.20 2
遇到过的问题:
1、曾经在手机上用启动http代理的方式,由于程序写得比较粗糙,将手机的tcp资源耗光,导致必须重启手机才能恢复(TIME_WAIT 太多)
2、电脑上有多条路由时,担心办公使用的网络会走手机,导致流量承受不住,一下子耗光。想删掉缺省路由中走手机的那一块,结果windows支持不给力,老会出错
3、ADB命令时长会报错,没有好的办法治,除非把脚本挪到手机的python环境去实现
最终效果:
1、代理IP池的成本节省下来, 每月只需要30元的流量费,手机用二手的华为手机
2、网络速度稍慢于有线网络,多个网站可能导致封杀,切换ip地址频繁的情况(无法解决)
2019-12-19 17:44:27 更新新方案
问题:usb经常在跑不到一天的情况下,和电脑失去连接。需要手动恢复,非常影响效率
新解决方案:拿掉usb线,走手机热点