Hadoop2源碼分析－准備篇
1.概述 我們已經能夠搭建一個高可用的Hadoop平台了，也熟悉並掌握了一個項目在Hadoop平台下的開發流程，基於Hadoop的一些套件我們也能夠使用，並且能利用這些套件進行一些任務的開發。在Hadoop的應用級別上，我們接着往后面去研究學習，那就是Hadoop的源碼了，作為Hadoop ...
原文：Hadoop2源碼分析－MapReduce篇
.概述 前面我們已經對Hadoop有了一個初步認識，接下來我們開始學習Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天為大家分享的是mapreduce部分，其內容目錄如下所示： MapReduce V MapReduce V MR V 和MR V 的區別 MR V 的重構思路 本篇文章的源碼是基於hadoop . . src.tar.gz來完 ...
2015-04-17 12:06 0 4630 推薦指數：
相關推薦
Hadoop2源碼分析－序列化篇
1.概述 上一篇我們了解了MapReduce的相關流程，包含MapReduce V2的重構思路，新的設計架構，與MapReduce V1的區別等內容，今天我們在來學習下在Hadoop V2中的序列化的相關內容，其目錄如下所示： 序列化的由來 Hadoop序列化依賴圖詳解 ...
Hadoop2源碼分析－RPC探索實戰
1.概述 在《Hadoop2源碼分析－RPC機制初識》博客中，我們對RPC機制有了初步的認識和了解，下面我們對Hadoop V2的RPC機制做進一步探索，在研究Hadoop V2的RPC機制，我們需要掌握相關的Java基礎知識，如：Java NIO、動態代理與反射等。本篇博客介紹的內容目錄 ...
Hadoop2源碼分析－RPC機制初識
1.概述 上一篇博客，講述Hadoop V2的序列化機制，這為我們學習Hadoop V2的RPC機制奠定了基礎。RPC的內容涵蓋的信息有點多，包含Hadoop的序列化機制，RPC，代理，NIO等。若對Hadoop序列化不了解的同學，可以參考《Hadoop2源碼分析－序列化篇》。今天這篇博客 ...
Hadoop2源碼分析－HDFS核心模塊分析
1.概述 這篇博客接着《Hadoop2源碼分析－RPC機制初識》來講述，前面我們對MapReduce、序列化、RPC進行了分析和探索，對Hadoop V2的這些模塊都有了大致的了解，通過對這些模塊的研究，我們明白了MapReduce的運行流程以及內部的實現機制，Hadoop的序列化 ...
Hadoop2源碼分析－YARN RPC 示例介紹
1.概述 之前在《Hadoop2源碼分析－RPC探索實戰》一文當中介紹了Hadoop的RPC機制，今天給大家分享關於YARN的RPC的機制。下面是今天的分享目錄： YARN的RPC介紹 YARN的RPC示例 截圖預覽 下面開始今天的內容分享。 2.YARN的RPC ...
hadoop2的mapreduce操作hbase數據
1、從hbase中取數據，再把計算結果插入hbase中 package com.yeliang; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import ...
[Hadoop源碼詳解]之一MapReduce篇之InputFormat
個人小站,正在持續整理中,歡迎訪問:http://shitouer.cn 小站博文地址：[Hadoop源碼詳解]之一MapReduce篇之InputFormat 1. 概述 我們在設置MapReduce輸入格式的時候，會調用這樣一條語句 ...