記一次企業級爬蟲系統升級改造（二）：基於AngleSharp實現的抓取服務
爬蟲系統升級改造正式啟動： 在第一篇文章，博主主要介紹了本次改造的爬蟲系統的業務背景與全局規划構思： 未來Support雲系統，不僅僅是爬蟲系統，是集爬取數據、數據建模處理統計分析、支持全文檢索資源庫、其他業務部門和公司資訊系統重要數據來源、輔助決策等功能於一身 ...
原文：記一次企業級爬蟲系統升級改造（五）：基於JieBaNet+Lucene.Net實現全文搜索
實現效果： 上一篇文章有附全文搜索結果的設計圖，下面截一張開發完成上線后的實圖： 基本風格是模仿的百度搜索結果，綠色的分頁略顯小清新。 目前已采集並創建索引的文章約 W多篇，索引文件不算太大，查詢速度非常棒。 刀不磨要生銹，人不學要落后。每天都要學一些新東西。 基本技術介紹： 還記得上一次做全文搜索是在 年，主要核心設計與代碼均是當時的架構師寫的，自己只能算是全程參與。 當時使用的是經典搭配：盤古 ...
2017-01-20 09:58 34 3278 推薦指數：
相關推薦
記一次企業級爬蟲系統升級改造（六）：基於Redis實現免費的IP代理池
前言： 首先表示抱歉，春節后一直較忙，未及時更新該系列文章。 近期，由於監控的站源越來越多，就偶有站源做了反爬機制，造成我們的SupportYun系統小爬蟲服務時常被封IP，不能進行數據采集。 這時候，前面有園友提到的IP代理就該上場表演了。 IP代理池設計： 博 ...
記一次企業級爬蟲系統升級改造（三）：文本分析與數據建模規則化處理
SupportYun當前狀況： 博主的SupportYun系統基本已經完成第一階段預期的底層服務開發啦~~~自己小嘚瑟一下。 有對該系統歷史背景與功能等不明白的可先看該系列的第1/2篇文章： 1.記一次企業級爬蟲系統升級改造（一） 2.記一次企業級爬蟲系統升級 ...
記一次企業級爬蟲系統升級改造（四）：爬取微信公眾號文章（通過搜狗與新榜等第三方平台）
首先表示抱歉，年底大家都懂的，又涉及SupportYun系統V1.0上線。故而第四篇文章來的有點晚了些~~~對關注的朋友說聲sorry! SupportYun系統當前一覽： 首先說一下，文章的進度一直是延后於系統開發進度的。 當前系統V1.0 已經正式上線服役了，這就給大家欣賞 ...
JieBaNet+Lucene.Net
基於JieBaNet+Lucene.Net實現全文搜索 實現效果： 上一篇文章有附全文搜索結果的設計圖，下面截一張開發完成上線后的實圖： 基本風格是模仿的百度搜索結果，綠色的分頁略顯小清新。 目前已采集並創建索引的文章約3W多篇 ...
利用 lucene.net 實現高效率的 WildcardQuery ，記一次類似百度搜索下拉關鍵字聯想功能的實現。
打開百度輸入 該項目最終在在我項目的搜索結果 站內搜索也要實現類似功能。最基礎的做法，寫個方法查數據庫搜索歷史綜合表keywordSearch（先將被搜索過的關鍵字記錄到一張表，記錄好他們被搜索的次數、上次搜索的有多少結果） 大概一條sql語句：select keyword ...
記一次WMS的系統改造（2）-敲定方案
既定改造方案 基於上一篇分析出的種種問題，我們將庫房人員的系統操作划分為兩大類。 第一類為貨物驅動的操作，這類操作主要隨着貨物而前進，人員不看或者看軟件的次數比較少，更多是對貨物的狀態進行系統上的確認和進行下一步的業務數據准備。 第二類為任務驅動的操作，這類在庫房目前特指質控的相關工作 ...