1.MapReduce作業運行流程
2.Map、Reduce任務中Shuffle和排序的過程
一. MapReduce框架組成
MapReduce主要包括JobClient、JobTracker、TaskTracker、HDFS四個獨立的部分。
1、JobClient
配置參數Configuration，並打包成jar文件存儲在HDFS上，將文件路徑提交給JobTracker的master服務，然后由master創建每個task將它們分發到各個TaskTracker服務中去執行。
2、JobTracker
這是一個master服務，程序啟動后，JobTracker負責資源監控和作業調度。JobTracker監控所有的TaskTracker和job的健康狀況，一旦發生失敗，即將之轉移到其他節點上，同時JobTracker會跟蹤任務的執行進度、資源使用量等信息，並將這些信息告訴任務調度器，而調度器會在資源出現空閑時，選擇合適的任務使用這些資源。在Hadoop 中，任務調度器是一個可插拔的模塊，用戶可以根據自己的需要設計相應的調度器。
3、TaskTracker
運行在多個節點上的slaver服務。TaskTracker主動與JobTracker通信接受作業，並負責直接執行每個任務。TaskTracker 會周期性地通過Heartbeat 將本節點上資源的使用情況和任務的運行進度匯報給JobTracker，同時接收JobTracker 發送過來的命令並執行相應的操作（如啟動新任務、殺死任務等）。TaskTracker 使用“slot”等量划分本節點上的資源量。“slot”代表計算資源（CPU、內存等）。一個Task 獲取到一個slot 后才有機會運行，而Hadoop 調度器的作用就是將各個TaskTracker 上的空閑slot 分配給Task 使用。slot 分為Map slot 和Reduce slot 兩種，分別供MapTask 和Reduce Task 使用。TaskTracker 通過slot 數目（可配置參數）限定Task 的並發度。
Task分為Map Task和Reduce Task兩種，均由TaskTracker啟動。HDFS以block塊存儲數據，mapreduce處理的最小數據單位為split。split如何划分又用戶自由設置。如下為split和block之間的關系：
4. HDFS
保存數據和配置信息等。
正文：
1.MapReduce作業運行流程
下面貼出我用visio2010畫出的流程示意圖：
流程分析：
1.在客戶端啟動一個作業。
2.向JobTracker請求一個Job ID。
3.將運行作業所需要的資源文件復制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客戶端計算所得的輸入划分信息。這些文件都存放在JobTracker專門為該作業創建的文件夾中。文件夾名為該作業的Job ID。JAR文件默認會有10個副本（mapred.submit.replication屬性控制）；輸入划分信息告訴了JobTracker應該為這個作業啟動多少個map任務等信息。
4.JobTracker接收到作業后，將其放在一個作業隊列里，等待作業調度器對其進行調度（這里是不是很像微機中的進程調度呢，呵呵），當作業調度器根據自己的調度算法調度到該作業時，會根據輸入划分信息為每個划分創建一個map任務，並將map任務分配給TaskTracker執行。對於map和reduce任務，TaskTracker根據主機核的數量和內存的大小有固定數量的map槽和reduce槽。這里需要強調的是：map任務不是隨隨便便地分配給某個TaskTracker的，這里有個概念叫：數據本地化（Data-Local）。意思是：將map任務分配給含有該map處理的數據塊的TaskTracker上，同時將程序JAR包復制到該TaskTracker上來運行，這叫“運算移動，數據不移動”。而分配reduce任務時並不考慮數據本地化。
5.TaskTracker每隔一段時間會給JobTracker發送一個心跳，告訴JobTracker它依然在運行，同時心跳中還攜帶着很多的信息，比如當前map任務完成的進度等信息。當JobTracker收到作業的最后一個任務完成信息時，便把該作業設置成“成功”。當JobClient查詢狀態時，它將得知任務已完成，便顯示一條消息給用戶。
邏輯角度分析作業運行順序：輸入分片(input split)、map階段、combiner階段、shuffle階段、reduce階段。
-
- input split：在map計算之前，程序會根據輸入文件計算split，每個input split針對一個map任務。input split存儲的並非是數據本身，而是一個分片長度和一個記錄數據的位置的數組。
- map階段：即執行map函數。
- combiner階段：這是一個可選擇的函數，實質上是一種reduce操作。combiner是map的后續操作，主要是在map計算出中間文件前做一個簡單的合並重復key值的操作。
- shuffle階段：指從map輸出開始，包括系統執行排序即傳送map輸出到reduce作為輸入的過程。另外針對map輸出的key進行排序又叫sort階段。map端shuffle，簡單來說就是利用combiner對數據進行預排序，利用內存緩沖區來完成。reduce端的shuffle包括復制數據和歸並數據，最終產生一個reduce輸入文件。shuffle過程有許多可調優的參數來提高MapReduce的性能，其總原則就是給shuffle過程盡量多的內存空間。
- reduce階段：即執行reduce函數並存到hdfs文件系統中。
2. 作業調度器：目前hadoop的作業調度器主要有三種：
-
- 先進先出調度器：優點，算法簡單，JobTracker工作負擔輕；缺點忽略不同作業的需求差異。
- 容量調度器
- 公平調度器
以上是在客戶端、JobTracker、TaskTracker的層次來分析MapReduce的工作原理的，下面我們再細致一點，從map任務和reduce任務的層次來分析分析吧。
2.Map、Reduce任務中Shuffle和排序的過程
同樣貼出我在visio中畫出的流程示意圖：
流程分析：
Map端：
1．每個輸入分片會讓一個map任務來處理，默認情況下，以HDFS的一個塊的大小（默認為64M）為一個分片，當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環形內存緩沖區中（該緩沖區的大小默認為100M，由io.sort.mb屬性控制），當該緩沖區快要溢出時（默認為緩沖區大小的80%，由io.sort.spill.percent屬性控制），會在本地文件系統中創建一個溢出文件，將該緩沖區中的數據寫入這個文件。
2．在寫入磁盤之前，線程首先根據reduce任務的數目將數據划分為相同數目的分區，也就是一個reduce任務對應一個分區的數據。這樣做是為了避免有些reduce任務分配到大量數據，而有些reduce任務卻分到很少數據，甚至沒有分到數據的尷尬局面。其實分區就是對數據進行hash的過程。然后對每個分區中的數據進行排序，如果此時設置了Combiner，將排序后的結果進行Combia操作，這樣做的目的是讓盡可能少的數據寫入到磁盤。
3．當map任務輸出最后一個記錄時，可能會有很多的溢出文件，這時需要將這些文件合並。合並的過程中會不斷地進行排序和combia操作，目的有兩個：1.盡量減少每次寫入磁盤的數據量；2.盡量減少下一復制階段網絡傳輸的數據量。最后合並成了一個已分區且已排序的文件。為了減少網絡傳輸的數據量，這里可以將數據壓縮，只要將mapred.compress.map.out設置為true就可以了。
4．將分區中的數據拷貝給相對應的reduce任務。有人可能會問：分區中的數據怎么知道它對應的reduce是哪個呢？其實map任務一直和其父TaskTracker保持聯系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整個集群中的宏觀信息。只要reduce任務向JobTracker獲取對應的map輸出位置就ok了哦。
到這里，map端就分析完了。那到底什么是Shuffle呢？Shuffle的中文意思是“洗牌”，如果我們這樣看：一個map產生的數據，結果通過hash過程分區卻分配給了不同的reduce任務，是不是一個對數據洗牌的過程呢？呵呵。
Reduce端：
1．Reduce會接收到不同map任務傳來的數據，並且每個map傳來的數據都是有序的。如果reduce端接受的數據量相當小，則直接存儲在內存中（緩沖區大小由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比），如果數據量超過了該緩沖區大小的一定比例（由mapred.job.shuffle.merge.percent決定），則對數據合並后溢寫到磁盤中。
2．隨着溢寫文件的增多，后台線程會將它們合並成一個更大的有序的文件，這樣做是為了給后面的合並節省時間。其實不管在map端還是reduce端，MapReduce都是反復地執行排序，合並操作，現在終於明白了有些人為什么會說：排序是hadoop的靈魂。
3．合並的過程中會產生許多的中間文件（寫入磁盤了），但MapReduce會讓寫入磁盤的數據盡可能地少，並且最后一次合並的結果並沒有寫入磁盤，而是直接輸入到reduce函數。
原文：https://www.cnblogs.com/hadoop-dev/p/5894911.html（轉載） 在原文基礎上添加了一些東西，如有不對，敬請指出，謝謝