气象数据集 我们要写一个气象数据挖掘的程序。气象数据是通过分布在美国各地区的很多气象传感器每隔一小时进行收集，这些数据是半结构化数据且是按照记录方式存储的，因此非常适合使用 MapReduce 程序来统计分析。 数据格式 ...

本文地址：http://www.cnblogs.com/archimedes/p/mapreduce-inverted-index.html，转载请注明源地址。 1.倒排索引简介 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文 ...

倒排索引 (就是key和Value对调的显示结果) 一、需求：下面是用户播放音乐记录，统计歌曲被哪些用户播放过 tom LittleApple jack Yesterd ...

经过一段时间的学习，对于Hadoop有了一些了解，于是决定用MapReduce实现PageRank算法，以下简称PR 先简单介绍一下PR算法（摘自百度百科：https://baike.baidu.com/item/google%20pagerank/2465380?fr=aladdin& ...

1、项目需求 一本英文书籍包含成千上万个单词，现在我们需要在大量的单词中，找出相同字母组成的所有单词 2、数据集 下面是一本英文书籍截取的一部分单词内容（书籍内容是随意写的，主要目的是实现这种需求） 3、分析 1、先看如下图 在上图中，cat ...

摘要： 一个WordCount单词统计程序为实例，详细演示了如何编写MapReduce程序代码以及如何打包运行程序。 参考资料： Api 文档地址：http://hadoop.apache.org/docs/current/api/index.html maven资源库：https ...

摘要 通过实现MapReduce计算结果保存到MySql数据库过程，掌握多种方式保存计算结果的技术，加深了对MapReduce的理解； Api 文档地址：http://hadoop.apache.org/docs/current/api/index.html maven资源库：https ...

　一、 HDFS和MapReduce优缺点 　　1、HDFS的优势 　　　　　　HDFS的英文全称是 Hadoop Distributed File System，即Hadoop分布式文件系统，它是Hadoop的核心子项目。实际上，Hadoop中有一个综合性的文件系统抽象，它提供了文件系统 ...