原文:开源分布式计算引擎 & 开源搜索引擎 Iveely 0.5.0 为大数据而生

Iveely Computing 产生背景 年的时候,我开始接触搜索引擎,当时遇到的第一个难题就是大数据实时并发处理,当时实验室的机器我们可以随便用,至少二三十台机器,可以,却没有程序可以将这些机器的计算性能整合起来,后来听说了Hadoop,但是当时的hadoop还很脆弱 记得没错是 . . ,源码量也很少,用了很久,发现它不适合我们的搜索引擎。 后来没办法,我在程序中将爬虫和数据处理写成分布式网 ...

2014-01-06 09:23 16 4241 推荐指数:

查看详情

开源搜索引擎 Iveely Search Engine 0.2.0 的发布

Iveely Search Engine 是一款纯C#实现的搜索引擎Iveely的中文翻译:爱为您。英文全称:I void everything , enjoy loving you! 希望更多的搜索引擎爱好者加入进来,感受分享的快乐。Iveely目标是:不是给用户一堆 ...

Mon Sep 03 17:15:00 CST 2012 28 2814
开源搜索引擎 Iveely Search Engine 0.1.0 的发布

一直热爱搜索引擎事业,但是它现在并不是我工作。你也许会问,Iveely是什么?Iveely 是I void everything,enjoy loving you的首字母缩写,表达我对搜索引擎的热爱。目前发布的是0.1.0版本,是一个基本版本,包含了无数的Bugs,您可 ...

Mon Aug 06 05:55:00 CST 2012 53 6010
大数据系列之分布式计算批处理引擎MapReduce实践

关于MR的工作原理不做过多叙述,本文将对MapReduce的实例WordCount(单词计数程序)做实践,从而理解MapReduce的工作机制。 WordCount:   1.应用场景,在大量文件中存储了单词,单词之间用空格分隔   2.类似场景:搜索引擎中,统计最流行的N个搜索 ...

Sun Mar 19 20:08:00 CST 2017 0 1685
开源搜索引擎Iveely 0.8.0发布,终见天日

这是一篇博客,不是,这是一篇开源人的心酸和喜悦,没有人可以理解我们的心情,一路的辛酸一路的艰辛,不过还好,在大家的支持下,总算是终见天日,谢谢那些给予我们无私帮助的朋友。您的支持,依然是我们无限的动力,作为回报,免费继续保持开源,是我们对您们的真诚谢意。 Iveely ...

Tue May 12 16:32:00 CST 2015 56 7447
用 Python 实现一个大数据搜索引擎

搜索大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,试图让大家理解大数据搜索的基本原理。 布隆过滤器 (Bloom Filter) 第一步我们先要实现一个布隆过滤器。 布隆过滤器是大数据领域 ...

Tue Dec 26 01:55:00 CST 2017 0 1630
分布式搜索引擎-ElasticSearch详解

ElasticSearch简介 什么是ElasticSearch ElaticSearch,简称为ES, ES是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心 ...

Sat Sep 19 05:27:00 CST 2020 0 942
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM