花费 38 ms
Hadoop学习笔记—4.初识MapReduce

一、神马是高大上的MapReduce   MapReduce是Google的一项重要技术,它首先是一个编程模型,用以进行大数据量的计算。对于大数据量的计算,通常采用的处理手法就是并行计算。但对许多开 ...

Thu Feb 12 23:26:00 CST 2015 2 30960
Hadoop学习笔记—11.MapReduce中的排序和分组

一、写在之前的 1.1 回顾Map阶段四大步骤   首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行:   从上图中可以清楚地看出,在Step1.4也就是第四步中,需要对不同 ...

Wed Feb 25 09:22:00 CST 2015 2 20015
Hadoop学习笔记—3.Hadoop RPC机制的使用

一、RPC基础概念 1.1 RPC的基础概念   RPC,即Remote Procdure Call,中文名:远程过程调用;   (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用 ...

Wed Feb 11 22:18:00 CST 2015 2 16871
Hadoop入门学习笔记总结系列文章导航

一、为何要学习Hadoop?   这是一个信息爆炸的时代。经过数十年的积累,很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝炼数成金成为当务之急。 ...

Mon Apr 20 08:15:00 CST 2015 9 12944
Hadoop学习笔记—9.Partitioner与自定义Partitioner

一、初步探索Partitioner 1.1 再次回顾Map阶段五大步骤   在第四篇博文《初识MapReduce》中,我们认识了MapReduce的八大步凑,其中在Map阶段总共五个步骤,如下图所 ...

Mon Feb 23 08:32:00 CST 2015 5 11410
Hadoop学习笔记—8.Combiner与自定义Combiner

一、Combiner的出现背景 1.1 回顾Map阶段五大步骤   在第四篇博文《初识MapReduce》中,我们认识了MapReduce的八大步凑,其中在Map阶段总共五个步骤,如下图所示: ...

Mon Feb 23 08:29:00 CST 2015 2 11325
Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列《Hadoop学习笔记系列 ...

Sat Oct 22 23:59:00 CST 2016 0 8023

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM