mapreduce过程解析

在这里插入图片描述

数据在map中怎么写入磁盘？

数据：经过map逻辑处理过后的数据（key,value）…
磁盘：本地磁盘
在这里插入图片描述

1.为什么要环形缓冲区？
答：使用环形缓冲区，便于写入缓冲区和写出缓冲区同时进行。
2.为什么不等缓冲区满了再spill?
答：会出现阻塞。
3.数据的分区和排序是在哪完成的？
答：分区是根据元数据meta中的分区号partition来分区的，排序是在spill的时候排序。

在这里插入图片描述
不同方向写入数据

图示：

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 Hadoop 之环形缓冲区原理环形缓冲区常用环形缓冲区环形缓冲区.ringbuff(C#和java) 线程安全的环形缓冲区实现【数据结构】环形缓冲区ring buffer 环形缓冲区类(C++)绝对可用(转) C#环形缓冲区（队列）完全实现 linux内核环形缓冲区【转】 C++ 环形缓冲区的实现