Hadoop2源碼分析－MapReduce篇
1.概述 前面我們已經對Hadoop有了一個初步認識，接下來我們開始學習Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天為大家分享的是mapreduce部分，其內容目錄如下所示： MapReduce V1 MapReduce ...
原文：Hadoop2源碼分析－准備篇
.概述 我們已經能夠搭建一個高可用的Hadoop平台了，也熟悉並掌握了一個項目在Hadoop平台下的開發流程，基於Hadoop的一些套件我們也能夠使用，並且能利用這些套件進行一些任務的開發。在Hadoop的應用級別上，我們接着往后面去研究學習，那就是Hadoop的源碼了，作為Hadoop開發人員，我們得去學習和研究Hadoop得實現原理，底層框架的設計，編碼的實現過程等等，下面就開始我們今天的H ...
2015-04-12 00:19 2 4565 推薦指數：
相關推薦
Hadoop2源碼分析－序列化篇
1.概述 上一篇我們了解了MapReduce的相關流程，包含MapReduce V2的重構思路，新的設計架構，與MapReduce V1的區別等內容，今天我們在來學習下在Hadoop V2中的序列化的相關內容，其目錄如下所示： 序列化的由來 Hadoop序列化依賴圖詳解 ...
Hadoop2源碼分析－RPC探索實戰
1.概述 在《Hadoop2源碼分析－RPC機制初識》博客中，我們對RPC機制有了初步的認識和了解，下面我們對Hadoop V2的RPC機制做進一步探索，在研究Hadoop V2的RPC機制，我們需要掌握相關的Java基礎知識，如：Java NIO、動態代理與反射等。本篇博客介紹的內容目錄 ...
Hadoop2源碼分析－RPC機制初識
1.概述 上一篇博客，講述Hadoop V2的序列化機制，這為我們學習Hadoop V2的RPC機制奠定了基礎。RPC的內容涵蓋的信息有點多，包含Hadoop的序列化機制，RPC，代理，NIO等。若對Hadoop序列化不了解的同學，可以參考《Hadoop2源碼分析－序列化篇》。今天這篇博客 ...
Hadoop2源碼分析－HDFS核心模塊分析
1.概述 這篇博客接着《Hadoop2源碼分析－RPC機制初識》來講述，前面我們對MapReduce、序列化、RPC進行了分析和探索，對Hadoop V2的這些模塊都有了大致的了解，通過對這些模塊的研究，我們明白了MapReduce的運行流程以及內部的實現機制，Hadoop的序列化 ...
Hadoop2源碼分析－YARN RPC 示例介紹
1.概述 之前在《Hadoop2源碼分析－RPC探索實戰》一文當中介紹了Hadoop的RPC機制，今天給大家分享關於YARN的RPC的機制。下面是今天的分享目錄： YARN的RPC介紹 YARN的RPC示例 截圖預覽 下面開始今天的內容分享。 2.YARN的RPC ...
Hadoop2配置詳解
配置文件 hadoop的配置是由兩種重要類型的配置文件進行驅動的： 默認是只讀的配置： core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml。 特殊節點配置 ...
Hadoop2與Hadoop3的區別
在這篇文章中，我們將討論Hadoop 2.x與Hadoop 3.x之間的比較。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么區別？我們希望Hadoop 2和Hadoop 3之間的這個功能的區別將幫助回答 ...