一：背景 1. 讲故事 七月中旬有一位朋友加wx求助，他的程序在生产上跑着跑着内存就飙起来了，貌似没有回头的趋势，询问如何解决，截图如下： 和这位朋友聊下来，感觉像是自己在小县城当了个小老板 ...

的子公司里面，英勇的前任leader满口答应高层可以对这个系统进行重新规划改造，来support公司业务（ ...

　　爬虫系统升级改造正式启动： 　　　　在第一篇文章，博主主要介绍了本次改造的爬虫系统的业务背景与全局规划构思： 　　　　未来Support云系统，不仅仅是爬虫系统，是集爬取数据、数据建模处理统计分析、支持全文检索资源库、其他业务部门和公司资讯系统重要数据来源、辅助决策等功能于一身 ...

最近线上服务器莫名出现某些请求出现502的现象，查看了nginx的error.log，发现看一个异常报错 应用程序方面也补抓到了一系列的异常 了解了一下，是没有读取到相 ...

在最近工作中，有因后台接口升级，前端需要配合改造的需求。在改造适配过程中，遇到了问题，再经过多次折腾后，最终调通。事后再回顾整个调试过程，觉的之前走过一些弯路，在回顾时才看的更加真切，在此需要总结归纳。 问题背景 先描述下问题背景，为简化后续讨论，后续以"查产品信息"和"查资金"两个接口为例子 ...

SupportYun当前状况： 　　博主的SupportYun系统基本已经完成第一阶段预期的底层服务开发啦~~~自己小嘚瑟一下。 　　有对该系统历史背景与功能等不明白的可先看该系列的第1/2篇文章： 　　　　1.记一次企业级爬虫系统升级改造（一） 　　　　2.记一次企业级爬虫系统 ...

前言： 　　首先表示抱歉，春节后一直较忙，未及时更新该系列文章。 　　近期，由于监控的站源越来越多，就偶有站源做了反爬机制，造成我们的SupportYun系统小爬虫服务时常被封IP，不能进行数据采集。 　　这时候，前面有园友提到的IP代理就该上场表演了。 IP代理池设计： 　　博 ...

。 基本技术介绍： 　　还记得上一次做全文搜索是在2013年，主要核心设计与代码均是当时 ...