原文:Hadoop2源码分析-MapReduce篇

.概述 前面我们已经对Hadoop有了一个初步认识,接下来我们开始学习Hadoop的一些核心的功能,其中包含mapreduce,fs,hdfs,ipc,io,yarn,今天为大家分享的是mapreduce部分,其内容目录如下所示: MapReduce V MapReduce V MR V 和MR V 的区别 MR V 的重构思路 本篇文章的源码是基于hadoop . . src.tar.gz来完 ...

2015-04-17 12:06 0 4630 推荐指数:

查看详情

Hadoop2源码分析-准备

1.概述   我们已经能够搭建一个高可用的Hadoop平台了,也熟悉并掌握了一个项目在Hadoop平台下的开发流程,基于Hadoop的一些套件我们也能够使用,并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上,我们接着往后面去研究学习,那就是Hadoop源码了,作为Hadoop ...

Sun Apr 12 08:19:00 CST 2015 2 4565
Hadoop2源码分析-序列化

1.概述   上一我们了解了MapReduce的相关流程,包含MapReduce V2的重构思路,新的设计架构,与MapReduce V1的区别等内容,今天我们在来学习下在Hadoop V2中的序列化的相关内容,其目录如下所示: 序列化的由来 Hadoop序列化依赖图详解 ...

Tue Apr 21 18:34:00 CST 2015 3 2331
Hadoop2源码分析-RPC探索实战

1.概述   在《Hadoop2源码分析-RPC机制初识》博客中,我们对RPC机制有了初步的认识和了解,下面我们对Hadoop V2的RPC机制做进一步探索,在研究Hadoop V2的RPC机制,我们需要掌握相关的Java基础知识,如:Java NIO、动态代理与反射等。本篇博客介绍的内容目录 ...

Fri May 08 19:05:00 CST 2015 0 2227
Hadoop2源码分析-RPC机制初识

1.概述   上一博客,讲述Hadoop V2的序列化机制,这为我们学习Hadoop V2的RPC机制奠定了基础。RPC的内容涵盖的信息有点多,包含Hadoop的序列化机制,RPC,代理,NIO等。若对Hadoop序列化不了解的同学,可以参考《Hadoop2源码分析-序列化》。今天这篇博客 ...

Mon Apr 27 19:54:00 CST 2015 1 2600
Hadoop2源码分析-HDFS核心模块分析

1.概述   这篇博客接着《Hadoop2源码分析-RPC机制初识》来讲述,前面我们对MapReduce、序列化、RPC进行了分析和探索,对Hadoop V2的这些模块都有了大致的了解,通过对这些模块的研究,我们明白了MapReduce的运行流程以及内部的实现机制,Hadoop的序列化 ...

Thu Jun 04 19:15:00 CST 2015 0 4843
Hadoop2源码分析-YARN RPC 示例介绍

1.概述   之前在《Hadoop2源码分析-RPC探索实战》一文当中介绍了Hadoop的RPC机制,今天给大家分享关于YARN的RPC的机制。下面是今天的分享目录: YARN的RPC介绍 YARN的RPC示例 截图预览   下面开始今天的内容分享。 2.YARN的RPC ...

Wed Jul 22 00:28:00 CST 2015 0 3192
hadoop2mapreduce操作hbase数据

1、从hbase中取数据,再把计算结果插入hbase中 package com.yeliang; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import ...

Sat Apr 29 00:26:00 CST 2017 0 2386
[Hadoop源码详解]之一MapReduce之InputFormat

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址:[Hadoop源码详解]之一MapReduce之InputFormat 1. 概述 我们在设置MapReduce输入格式的时候,会调用这样一条语句 ...

Thu Feb 28 16:52:00 CST 2013 3 8807
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM