转载请注明来源：cuixiaolei的技术博客 这里讲下android的分区。具体的使用在另一片文章中介绍，这里只是把它拿出来介绍。 android的存储分为两种 　　一种叫做RAM，如e ...

MapReduce的设计思想 主要的思想是分而治之(divide and conquer),分治算法。 将一个大的问题切分成很多小的问题，然后在集群中的各个节点上执行，这既是Map过程。在Map过程结束之后，会有一个Ruduce的过程，这个过程即将所有的Map阶段产出 ...

MapReduce过程源码分析 Mapper   首先mapper完成映射，将word映射成(word,1)的形式。   MapReduce进程，Map阶段也叫MapTask，在MapTask中会通过run()方法来调用我们用户重写的mapper() 方法，   分布式的运算程序往往需要分成 ...

概括：combine和partition都是函数。中间的步骤应该仅仅有shuffle！1.combinecombine分为map端和reduce端，作用是把同一个key的键值对合并在一起，能够自己定义的。combine函数把一个map函数产生的<key,value>对（多个key ...

http://www.aboutyun.com/thread-8927-1-1.html Mapreduce在hadoop中是一个比較难以的概念。以下须要用心看，然后自己就能总结出来了。 概括： combine和partition都是函数。中间的步骤应该 ...

原理图： 中间结果的排序与溢出(spill)流程图 map分析： (1)、输入分片(input split):在进行mapreduce之前，mapreduce首先会对输入文件进行输入分片(input split)操作，每一个输入分片针对一个map任务，输入分片（input ...

这是我的分析，当然查阅书籍和网络。如有什么不对的，请各位批评指正。以下的类有的并不完全，只列出重要的方法。 如要转载，请注上作者以及出处。 一、源码阅读环境 需要安装jdk1.7.0版本及其以上版本，还需要安装Eclipse阅读hadoop源码。 Eclipse安装教程参见我的博客 ...

在Hive客户端执行HQL查询报错，该查询走的是MapReduce，此时需要查看MapReduce的日志信息。 那么MR的日志在哪里呢? 首先启动historyserver，认情况下HistoryServer没有启动 进入到hadoop的bin目录下，执行以下命令，开启之后,jps一下确认 ...