記一次企業級爬蟲系統升級改造（六）：基於Redis實現免費的IP代理池
前言： 首先表示抱歉，春節后一直較忙，未及時更新該系列文章。 近期，由於監控的站源越來越多，就偶有站源做了反爬機制，造成我們的SupportYun系統小爬蟲服務時常被封IP，不能進行數據采集。 這時候，前面有園友提到的IP代理就該上場表演了。 IP代理池設計： 博 ...
原文：記一次企業級爬蟲系統升級改造（二）：基於AngleSharp實現的抓取服務
爬蟲系統升級改造正式啟動： 在第一篇文章，博主主要介紹了本次改造的爬蟲系統的業務背景與全局規划構思： 未來Support雲系統，不僅僅是爬蟲系統，是集爬取數據 數據建模處理統計分析 支持全文檢索資源庫 其他業務部門和公司資訊系統重要數據來源 輔助決策等功能於一身的企業級Support系統。 介於好多園友對博主的任務排期表感興趣，便介紹一下博主當時針對這個系統做的工作任務排期概要 排期表就是更加詳 ...
2016-12-05 11:15 15 2315 推薦指數：
相關推薦
記一次企業級爬蟲系統升級改造（五）：基於JieBaNet+Lucene.Net實現全文搜索
。 基本技術介紹： 還記得上一次做全文搜索是在2013年，主要核心設計與代碼均是當時 ...
記一次企業級爬蟲系統升級改造（三）：文本分析與數據建模規則化處理
SupportYun當前狀況： 博主的SupportYun系統基本已經完成第一階段預期的底層服務開發啦~~~自己小嘚瑟一下。 有對該系統歷史背景與功能等不明白的可先看該系列的第1/2篇文章： 1.記一次企業級爬蟲系統升級改造（一） 2.記一次企業級爬蟲系統升級 ...
記一次企業級爬蟲系統升級改造（四）：爬取微信公眾號文章（通過搜狗與新榜等第三方平台）
首先表示抱歉，年底大家都懂的，又涉及SupportYun系統V1.0上線。故而第四篇文章來的有點晚了些~~~對關注的朋友說聲sorry! SupportYun系統當前一覽： 首先說一下，文章的進度一直是延后於系統開發進度的。 當前系統V1.0 已經正式上線服役了，這就給大家欣賞 ...
記一次WMS的系統改造（2）-敲定方案
既定改造方案 基於上一篇分析出的種種問題，我們將庫房人員的系統操作划分為兩大類。 第一類為貨物驅動的操作，這類操作主要隨着貨物而前進，人員不看或者看軟件的次數比較少，更多是對貨物的狀態進行系統上的確認和進行下一步的業務數據准備。 第二類為任務驅動的操作，這類在庫房目前特指質控的相關工作 ...
記一次apache2.2.27升級至2.4.29
起因 無語的百度檢測給了網站安全檢測12分的低分，說是apache2.2.27有巴拉巴拉多的漏洞，你趕快升級吧。我假裝沒看到，然后被催了好幾天，終於開始動手更新了。 第一步，安裝新的apache 首先將/etc ...
SpringCloud微服務實戰——搭建企業級開發框架（三十七）：微服務日志系統設計與實現
針對業務開發人員通常面對的業務需求，我們將日志分為操作（請求）日志和系統運行日志，操作（請求）日志可以讓管理員或者運營人員方便簡單的在系統界面中查詢追蹤用戶具體做了哪些操作，便於分析統計用戶行為；系統運行日志又分為不同的級別（Log4j2）: OFF > FATAL > ERROR ...