记一次企业级爬虫系统升级改造（二）：基于AngleSharp实现的抓取服务
爬虫系统升级改造正式启动： 在第一篇文章，博主主要介绍了本次改造的爬虫系统的业务背景与全局规划构思： 未来Support云系统，不仅仅是爬虫系统，是集爬取数据、数据建模处理统计分析、支持全文检索资源库、其他业务部门和公司资讯系统重要数据来源、辅助决策等功能于一身 ...
原文：记一次企业级爬虫系统升级改造（五）：基于JieBaNet+Lucene.Net实现全文搜索
实现效果： 上一篇文章有附全文搜索结果的设计图，下面截一张开发完成上线后的实图： 基本风格是模仿的百度搜索结果，绿色的分页略显小清新。 目前已采集并创建索引的文章约 W多篇，索引文件不算太大，查询速度非常棒。 刀不磨要生锈，人不学要落后。每天都要学一些新东西。 基本技术介绍： 还记得上一次做全文搜索是在 年，主要核心设计与代码均是当时的架构师写的，自己只能算是全程参与。 当时使用的是经典搭配：盘古 ...
2017-01-20 09:58 34 3278 推荐指数：
相关推荐
记一次企业级爬虫系统升级改造（六）：基于Redis实现免费的IP代理池
前言： 首先表示抱歉，春节后一直较忙，未及时更新该系列文章。 近期，由于监控的站源越来越多，就偶有站源做了反爬机制，造成我们的SupportYun系统小爬虫服务时常被封IP，不能进行数据采集。 这时候，前面有园友提到的IP代理就该上场表演了。 IP代理池设计： 博 ...
记一次企业级爬虫系统升级改造（三）：文本分析与数据建模规则化处理
SupportYun当前状况： 博主的SupportYun系统基本已经完成第一阶段预期的底层服务开发啦~~~自己小嘚瑟一下。 有对该系统历史背景与功能等不明白的可先看该系列的第1/2篇文章： 1.记一次企业级爬虫系统升级改造（一） 2.记一次企业级爬虫系统升级 ...
记一次企业级爬虫系统升级改造（四）：爬取微信公众号文章（通过搜狗与新榜等第三方平台）
首先表示抱歉，年底大家都懂的，又涉及SupportYun系统V1.0上线。故而第四篇文章来的有点晚了些~~~对关注的朋友说声sorry! SupportYun系统当前一览： 首先说一下，文章的进度一直是延后于系统开发进度的。 当前系统V1.0 已经正式上线服役了，这就给大家欣赏 ...
JieBaNet+Lucene.Net
基于JieBaNet+Lucene.Net实现全文搜索 实现效果： 上一篇文章有附全文搜索结果的设计图，下面截一张开发完成上线后的实图： 基本风格是模仿的百度搜索结果，绿色的分页略显小清新。 目前已采集并创建索引的文章约3W多篇 ...
利用 lucene.net 实现高效率的 WildcardQuery ，记一次类似百度搜索下拉关键字联想功能的实现。
打开百度输入 该项目最终在在我项目的搜索结果 站内搜索也要实现类似功能。最基础的做法，写个方法查数据库搜索历史综合表keywordSearch（先将被搜索过的关键字记录到一张表，记录好他们被搜索的次数、上次搜索的有多少结果） 大概一条sql语句：select keyword ...
记一次WMS的系统改造（2）-敲定方案
既定改造方案 基于上一篇分析出的种种问题，我们将库房人员的系统操作划分为两大类。 第一类为货物驱动的操作，这类操作主要随着货物而前进，人员不看或者看软件的次数比较少，更多是对货物的状态进行系统上的确认和进行下一步的业务数据准备。 第二类为任务驱动的操作，这类在库房目前特指质控的相关工作 ...