1.前言 Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 但是事实上，不光Spark是内存计算，Hadoop其实也是内存计算。 Spark和Hadoop的根本差异是多个任务之间的数据通信问题：Spark多个任务之间数据通信是基于内存，而Hadoop ...

step1 input InputFormat读取数据，将数据转换成<key ,value>对,设置FileInputFormat，默认是文本格式（TextInputForma ...

1.简介 　　现在很少用到使用MR计算框架来实现功能，通常的做法是使用hive等工具辅助完成。但是对于其底层MR的原理还是有必要做一些了解。 2.MR客户端程序实现套路 　　这一小节总结归纳编写mr客户端程序的一般流程和套路。将以wordcount为例子进行理解。 　　运行一个mr程序 ...

1、概念 2、Split机制 3、MR Shuffle过程 4、MR中REDUCE与MAP写作过程 5、MR全貌 ...

1.日志内容样式 目前所接触到的日志一种是网页请求日志，一种是埋点日志，一种后端系统日志。 1.1请求日志 请求日志是用户访问网站时，打开网址或点 ...

模型架构： 执行计算任务有两个角色一个是JobTracker，一个是TaskTracker，前者用于管理和调度工作，后者用于执行工作。 一般来说一个Hadoop集群由一个JobTracker和N个TaskTracker构成。 可以理解为shuffle描述着Map task ...

1.随便在哪个目录新增一个文档。内容随便输入 mkdir words 2.在hdfs 中新建文件输入目录 ./hdfs dfs -mkdir /test 3.把新建的文档 (/home/hadoop/test/words) 上传到新建的(test) hdfs目录 ...

1、map到reduce中间的一个过程 　　洗牌,打乱(打乱我们传递的所有元素)(流程:input->map->reduce->output) 2、map()->shuff ...