Hadoop2源碼分析－MapReduce篇
1.概述 前面我們已經對Hadoop有了一個初步認識，接下來我們開始學習Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天為大家分享的是mapreduce部分，其內容目錄如下所示： MapReduce V1 MapReduce ...
原文：Hadoop2源碼分析－序列化篇
.概述 上一篇我們了解了MapReduce的相關流程，包含MapReduce V 的重構思路，新的設計架構，與MapReduce V 的區別等內容，今天我們在來學習下在Hadoop V 中的序列化的相關內容，其目錄如下所示： 序列化的由來 Hadoop序列化依賴圖詳解 Writable常用實現類 下面，我們開始學習今天的內容。 .序列化的由來 我們知道Java語言對序列化提供了非常友好的支持，在 ...
2015-04-21 10:34 3 2331 推薦指數：
相關推薦
Hadoop2源碼分析－准備篇
1.概述 我們已經能夠搭建一個高可用的Hadoop平台了，也熟悉並掌握了一個項目在Hadoop平台下的開發流程，基於Hadoop的一些套件我們也能夠使用，並且能利用這些套件進行一些任務的開發。在Hadoop的應用級別上，我們接着往后面去研究學習，那就是Hadoop的源碼了，作為Hadoop ...
Hadoop2源碼分析－RPC探索實戰
1.概述 在《Hadoop2源碼分析－RPC機制初識》博客中，我們對RPC機制有了初步的認識和了解，下面我們對Hadoop V2的RPC機制做進一步探索，在研究Hadoop V2的RPC機制，我們需要掌握相關的Java基礎知識，如：Java NIO、動態代理與反射等。本篇博客介紹的內容目錄 ...
Hadoop2源碼分析－RPC機制初識
1.概述 上一篇博客，講述Hadoop V2的序列化機制，這為我們學習Hadoop V2的RPC機制奠定了基礎。RPC的內容涵蓋的信息有點多，包含Hadoop的序列化機制，RPC，代理，NIO等。若對Hadoop序列化不了解的同學，可以參考《Hadoop2源碼分析－序列化篇》。今天這篇博客 ...
fastjson源碼分析之序列化
fastJson是很常用的序列化工具，用了這么久一直想底層看一下它的設計，探究一下它序列化和反序列化效率高的秘密。現在從最基礎的用法開始，一點點揭開fastJson神秘的面紗。(版本：1.2.50) 實際工程里，最常用的就是序列化和反序列化： ResultDO resultDO ...
【Zookeeper】源碼分析之序列化
一、前言 在完成了前面的理論學習后，現在可以從源碼角度來解析Zookeeper的細節，首先筆者想從序列化入手，因為在網絡通信、數據存儲中都用到了序列化，下面開始分析。 二、序列化 序列化主要在zookeeper.jute包中，其中涉及的主要接口 ...
Hadoop序列化
1.序列化 所謂的序列化，就是將結構化對象轉化為字節流，以便在網絡上傳輸或是寫道磁盤進行永久存儲。反序列化，就是將字節流轉化為結構化對象。在Java中也存在序列化，剛學Java的時候，接觸的第一個項目就是QQ聊天系統，也就是網絡編程，其中，用到的就是字符流傳輸數據，通過對象序列化 ...
Hadoop2源碼分析－HDFS核心模塊分析
1.概述 這篇博客接着《Hadoop2源碼分析－RPC機制初識》來講述，前面我們對MapReduce、序列化、RPC進行了分析和探索，對Hadoop V2的這些模塊都有了大致的了解，通過對這些模塊的研究，我們明白了MapReduce的運行流程以及內部的實現機制，Hadoop的序列化 ...