Hadoop2源码分析－MapReduce篇
1.概述 前面我们已经对Hadoop有了一个初步认识，接下来我们开始学习Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天为大家分享的是mapreduce部分，其内容目录如下所示： MapReduce V1 MapReduce ...
原文：Hadoop2源码分析－准备篇
.概述 我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我们接着往后面去研究学习，那就是Hadoop的源码了，作为Hadoop开发人员，我们得去学习和研究Hadoop得实现原理，底层框架的设计，编码的实现过程等等，下面就开始我们今天的H ...
2015-04-12 00:19 2 4565 推荐指数：
相关推荐
Hadoop2源码分析－序列化篇
1.概述 上一篇我们了解了MapReduce的相关流程，包含MapReduce V2的重构思路，新的设计架构，与MapReduce V1的区别等内容，今天我们在来学习下在Hadoop V2中的序列化的相关内容，其目录如下所示： 序列化的由来 Hadoop序列化依赖图详解 ...
Hadoop2源码分析－RPC探索实战
1.概述 在《Hadoop2源码分析－RPC机制初识》博客中，我们对RPC机制有了初步的认识和了解，下面我们对Hadoop V2的RPC机制做进一步探索，在研究Hadoop V2的RPC机制，我们需要掌握相关的Java基础知识，如：Java NIO、动态代理与反射等。本篇博客介绍的内容目录 ...
Hadoop2源码分析－RPC机制初识
1.概述 上一篇博客，讲述Hadoop V2的序列化机制，这为我们学习Hadoop V2的RPC机制奠定了基础。RPC的内容涵盖的信息有点多，包含Hadoop的序列化机制，RPC，代理，NIO等。若对Hadoop序列化不了解的同学，可以参考《Hadoop2源码分析－序列化篇》。今天这篇博客 ...
Hadoop2源码分析－HDFS核心模块分析
1.概述 这篇博客接着《Hadoop2源码分析－RPC机制初识》来讲述，前面我们对MapReduce、序列化、RPC进行了分析和探索，对Hadoop V2的这些模块都有了大致的了解，通过对这些模块的研究，我们明白了MapReduce的运行流程以及内部的实现机制，Hadoop的序列化 ...
Hadoop2源码分析－YARN RPC 示例介绍
1.概述 之前在《Hadoop2源码分析－RPC探索实战》一文当中介绍了Hadoop的RPC机制，今天给大家分享关于YARN的RPC的机制。下面是今天的分享目录： YARN的RPC介绍 YARN的RPC示例 截图预览 下面开始今天的内容分享。 2.YARN的RPC ...
Hadoop2配置详解
配置文件 hadoop的配置是由两种重要类型的配置文件进行驱动的： 默认是只读的配置： core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml。 特殊节点配置 ...
Hadoop2与Hadoop3的区别
在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？我们希望Hadoop 2和Hadoop 3之间的这个功能的区别将帮助回答 ...