Hadoop日记Day12---MapReduce学习
一、MapReduce简介 1.1MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Re ...
原文：Hadoop日记Day1---Hadoop介绍
一 Hadoop项目简介 . Hadoop是什么 Hadoop是一个适合大数据的分布式存储与计算平台。 作者：Doug Cutting Lucene，Nutch。 受Google三篇论文的启发 . Hadoop核心项目 HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce：并行计算框架 . Hadoop架构 . HDFS架构 主从结构 主节点 ...
2014-09-17 16:17 11 5865 推荐指数：
相关推荐
Hadoop日记Day9---HDFS的java访问接口
一、搭建Hadoop 开发环境 我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用windows 下的eclipse 作为开发环境，访问运行在虚拟机中的HDFS。也就是通过在本地的eclipse 中的java 代码访问远程linux 中的hdfs ...
Hadoop日记Day18---MapReduce排序分组
本节所用到的数据下载地址为：http://pan.baidu.com/s/1bnfELmZ MapReduce的排序分组任务与要求 我们知道排序分组是MapReduce中Mapper端的第四步 ...
Hadoop日记Day11---主从节点接口分析
一、NameNode 的接口分析 1. NameNode本质 经过前面的学习，可以知道NameNode 本身就是一个java 进程。观察RPC.getServer()方法的第一个参数，发现是t ...
Hadoop日记系列目录
下面是Hadoop日记系列的目录，由于目前时间不是很充裕，以后的更新的速度会变慢，会按照一星期发布一期的原则进行，希望能和大家相互学习、交流。 目录安排 1> Hadoop日记Day1---Hadoop介绍 2> Hadoop日记Day2---虚拟机中搭建 ...
Hadoop日记Day17---计数器、map规约、分区学习
一、Hadoop计数器 1.1 什么是Hadoop计数器 Haoop是处理大数据的，不适合处理小数据，有些大数据问题是小数据程序是处理不了的，他是一个高延迟的任务，有时处理一个大数据需要花费好几个小时这都是正常的。下面我们说一下Hadoop计数器，Hadoop计数器就相当于我们的日志 ...
Hadoop日记Day16---命令行运行MapReduce程序
://hadoop:9000/hello"输出路径：OUT_PATH = "hdfs://hadoop:9000/o ...
Hadoop Yarn源码 - day1
Hadoop 2.6.0下面的关于Yarn工程，如下所示，主要有以下七个module： hadoop-yarn-api：和外部平台交互的接口 hadoop-yarn-applications hadoop ...