Hadoop2源碼分析－MapReduce篇
1.概述 前面我們已經對Hadoop有了一個初步認識，接下來我們開始學習Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天為大家分享的是mapreduce部分，其內容目錄如下所示： MapReduce V1 MapReduce ...
原文：Hadoop2源碼分析－HDFS核心模塊分析
.概述 這篇博客接着 Hadoop 源碼分析 RPC機制初識 來講述，前面我們對MapReduce 序列化 RPC進行了分析和探索，對Hadoop V 的這些模塊都有了大致的了解，通過對這些模塊的研究，我們明白了MapReduce的運行流程以及內部的實現機制，Hadoop的序列化以及它的通信機制 RPC 。今天我們來研究另一個核心的模塊，那就是Hadoop的分布式文件存儲系統 HDFS，下面是今 ...
2015-06-04 11:15 0 4843 推薦指數：
相關推薦
Hadoop2源碼分析－准備篇
1.概述 我們已經能夠搭建一個高可用的Hadoop平台了，也熟悉並掌握了一個項目在Hadoop平台下的開發流程，基於Hadoop的一些套件我們也能夠使用，並且能利用這些套件進行一些任務的開發。在Hadoop的應用級別上，我們接着往后面去研究學習，那就是Hadoop的源碼了，作為Hadoop ...
Hadoop2源碼分析－RPC探索實戰
1.概述 在《Hadoop2源碼分析－RPC機制初識》博客中，我們對RPC機制有了初步的認識和了解，下面我們對Hadoop V2的RPC機制做進一步探索，在研究Hadoop V2的RPC機制，我們需要掌握相關的Java基礎知識，如：Java NIO、動態代理與反射等。本篇博客介紹的內容目錄 ...
Hadoop2源碼分析－RPC機制初識
1.概述 上一篇博客，講述Hadoop V2的序列化機制，這為我們學習Hadoop V2的RPC機制奠定了基礎。RPC的內容涵蓋的信息有點多，包含Hadoop的序列化機制，RPC，代理，NIO等。若對Hadoop序列化不了解的同學，可以參考《Hadoop2源碼分析－序列化篇》。今天這篇博客 ...
Hadoop2源碼分析－YARN RPC 示例介紹
1.概述 之前在《Hadoop2源碼分析－RPC探索實戰》一文當中介紹了Hadoop的RPC機制，今天給大家分享關於YARN的RPC的機制。下面是今天的分享目錄： YARN的RPC介紹 YARN的RPC示例 截圖預覽 下面開始今天的內容分享。 2.YARN的RPC ...
Hadoop2源碼分析－序列化篇
1.概述 上一篇我們了解了MapReduce的相關流程，包含MapReduce V2的重構思路，新的設計架構，與MapReduce V1的區別等內容，今天我們在來學習下在Hadoop V2中的序列化的相關內容，其目錄如下所示： 序列化的由來 Hadoop序列化依賴圖詳解 ...
Hadoop源碼分析(1)：HDFS讀寫過程解析
一、文件的打開 1.1、客戶端 HDFS打開一個文件，需要在客戶端調用DistributedFileSystem.open(Path f, int bufferSize)，其實現為： public FSDataInputStream open(Path f, int ...
Hadoop之HDFS原理及文件上傳下載源碼分析（上）
HDFS原理 首先說明下，hadoop的各種搭建方式不再介紹，相信各位玩hadoop的同學隨便都能搭出來。 樓主的環境： 操作系統：Ubuntu 15.10 hadoop版本：2.7.3 HA：否（隨便搭了個偽分布式） 文件上傳 下圖描述 ...