原文:開源分布式計算引擎 & 開源搜索引擎 Iveely 0.5.0 為大數據而生

Iveely Computing 產生背景 年的時候,我開始接觸搜索引擎,當時遇到的第一個難題就是大數據實時並發處理,當時實驗室的機器我們可以隨便用,至少二三十台機器,可以,卻沒有程序可以將這些機器的計算性能整合起來,后來聽說了Hadoop,但是當時的hadoop還很脆弱 記得沒錯是 . . ,源碼量也很少,用了很久,發現它不適合我們的搜索引擎。 后來沒辦法,我在程序中將爬蟲和數據處理寫成分布式網 ...

2014-01-06 09:23 16 4241 推薦指數:

查看詳情

開源搜索引擎 Iveely Search Engine 0.2.0 的發布

Iveely Search Engine 是一款純C#實現的搜索引擎Iveely的中文翻譯:愛為您。英文全稱:I void everything , enjoy loving you! 希望更多的搜索引擎愛好者加入進來,感受分享的快樂。Iveely目標是:不是給用戶一堆 ...

Mon Sep 03 17:15:00 CST 2012 28 2814
開源搜索引擎 Iveely Search Engine 0.1.0 的發布

一直熱愛搜索引擎事業,但是它現在並不是我工作。你也許會問,Iveely是什么?Iveely 是I void everything,enjoy loving you的首字母縮寫,表達我對搜索引擎的熱愛。目前發布的是0.1.0版本,是一個基本版本,包含了無數的Bugs,您可 ...

Mon Aug 06 05:55:00 CST 2012 53 6010
大數據系列之分布式計算批處理引擎MapReduce實踐

關於MR的工作原理不做過多敘述,本文將對MapReduce的實例WordCount(單詞計數程序)做實踐,從而理解MapReduce的工作機制。 WordCount:   1.應用場景,在大量文件中存儲了單詞,單詞之間用空格分隔   2.類似場景:搜索引擎中,統計最流行的N個搜索 ...

Sun Mar 19 20:08:00 CST 2017 0 1685
開源搜索引擎Iveely 0.8.0發布,終見天日

這是一篇博客,不是,這是一篇開源人的心酸和喜悅,沒有人可以理解我們的心情,一路的辛酸一路的艱辛,不過還好,在大家的支持下,總算是終見天日,謝謝那些給予我們無私幫助的朋友。您的支持,依然是我們無限的動力,作為回報,免費繼續保持開源,是我們對您們的真誠謝意。 Iveely ...

Tue May 12 16:32:00 CST 2015 56 7447
用 Python 實現一個大數據搜索引擎

搜索大數據領域里常見的需求。Splunk和ELK分別是該領域在非開源開源領域里的領導者。本文利用很少的Python代碼實現了一個基本的數據搜索功能,試圖讓大家理解大數據搜索的基本原理。 布隆過濾器 (Bloom Filter) 第一步我們先要實現一個布隆過濾器。 布隆過濾器是大數據領域 ...

Tue Dec 26 01:55:00 CST 2017 0 1630
分布式搜索引擎-ElasticSearch詳解

ElasticSearch簡介 什么是ElasticSearch ElaticSearch,簡稱為ES, ES是一個開源的高擴展的分布式全文檢索引擎,它可以近乎實時的存儲、檢索數據;本身擴展性很好,可以擴展到上百台服務器,處理PB級別的數據。ES也使用Java開發並使用Lucene作為其核心 ...

Sat Sep 19 05:27:00 CST 2020 0 942
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM