氣象數據集 我們要寫一個氣象數據挖掘的程序。氣象數據是通過分布在美國各地區的很多氣象傳感器每隔一小時進行收集，這些數據是半結構化數據且是按照記錄方式存儲的，因此非常適合使用 MapReduce 程序來統計分析。 數據格式 ...

本文地址：http://www.cnblogs.com/archimedes/p/mapreduce-inverted-index.html，轉載請注明源地址。 1.倒排索引簡介 倒排索引（Inverted index），也常被稱為反向索引、置入檔案或反向檔案，是一種索引方法，被用來存儲在全文 ...

倒排索引 (就是key和Value對調的顯示結果) 一、需求：下面是用戶播放音樂記錄，統計歌曲被哪些用戶播放過 tom LittleApple jack Yesterd ...

經過一段時間的學習，對於Hadoop有了一些了解，於是決定用MapReduce實現PageRank算法，以下簡稱PR 先簡單介紹一下PR算法（摘自百度百科：https://baike.baidu.com/item/google%20pagerank/2465380?fr=aladdin& ...

1、項目需求 一本英文書籍包含成千上萬個單詞，現在我們需要在大量的單詞中，找出相同字母組成的所有單詞 2、數據集 下面是一本英文書籍截取的一部分單詞內容（書籍內容是隨意寫的，主要目的是實現這種需求） 3、分析 1、先看如下圖 在上圖中，cat ...

摘要： 一個WordCount單詞統計程序為實例，詳細演示了如何編寫MapReduce程序代碼以及如何打包運行程序。 參考資料： Api 文檔地址：http://hadoop.apache.org/docs/current/api/index.html maven資源庫：https ...

摘要 通過實現MapReduce計算結果保存到MySql數據庫過程，掌握多種方式保存計算結果的技術，加深了對MapReduce的理解； Api 文檔地址：http://hadoop.apache.org/docs/current/api/index.html maven資源庫：https ...

　一、 HDFS和MapReduce優缺點 　　1、HDFS的優勢 　　　　　　HDFS的英文全稱是 Hadoop Distributed File System，即Hadoop分布式文件系統，它是Hadoop的核心子項目。實際上，Hadoop中有一個綜合性的文件系統抽象，它提供了文件系統 ...