【Hadoop】mapreduce環形緩沖區

mapreduce過程解析

數據在map中怎么寫入磁盤？

數據：經過map邏輯處理過后的數據（key,value）…
磁盤：本地磁盤

環形緩沖區

1.為什么要環形緩沖區？
答：使用環形緩沖區，便於寫入緩沖區和寫出緩沖區同時進行。
2.為什么不等緩沖區滿了再spill?
答：會出現阻塞。
3.數據的分區和排序是在哪完成的？
答：分區是根據元數據meta中的分區號partition來分區的，排序是在spill的時候排序。

環形緩沖區詳解

不同方向寫入數據

圖示：