1.MapReduce原理
1.1 MapReduce簡介
MapReduce是一種分布式計算模型，是Google提出的，主要用於搜索領域，解決海量數據的計算問題。
MR有兩個階段組成：Map和Reduce，用戶只需實現map()和reduce()兩個函數，即可實現分布式計算
1.2 MapReduce工作原理
MapReduce分為2個過程，分別為Map過程和Reduce過程，如下圖所示：
Map端
1）每個輸入分片會讓一個map任務來處理，默認情況下，以HDFS的一個塊的大小（默認為64M）為一個分片，當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環形內存緩沖區中（該緩沖區的大小默認為100M，由io.sort.mb屬性控制），當該緩沖區快要溢出時（默認為緩沖區大小的80%，由io.sort.spill.percent屬性控制），會在本地文件系統中創建一個溢出文件，將該緩沖區中的數據寫入這個文件。
2）在寫入磁盤之前，線程首先根據reduce任務的數目將數據划分為相同數目的分區，也就是一個reduce任務對應一個分區的數據。這樣做是為了避免有些reduce任務分配到大量數據，而有些reduce任務卻分到很少數據，甚至沒有分到數據的尷尬局面。其實分區就是對數據進行hash的過程。然后對每個分區中的數據進行排序，如果此時設置了Combiner，將排序后的結果進行Combine操作，這樣做的目的是讓盡可能少的數據寫入到磁盤。
3）當map任務輸出最后一個記錄時，可能會有很多的溢出文件，這時需要將這些文件合並。合並的過程中會不斷地進行排序和combine操作，目的有兩個：1.盡量減少每次寫入磁盤的數據量；2.盡量減少下一復制階段網絡傳輸的數據量。最后合並成了一個已分區且已排序的文件。為了減少網絡傳輸的數據量，這里可以將數據壓縮，只要將mapred.compress.map.out設置為true就可以了。
4）將分區中的數據拷貝給相對應的reduce任務。分區中的數據怎么知道它對應的reduce是哪個呢？其實map任務一直和其父TaskTracker保持聯系，而TaskTracker又一直和JobTracker保持心跳，所以JobTracker中保存了整個集群中的宏觀信息。只要reduce任務向JobTracker獲取對應的map輸出位置即可
Reduce端
1）Reduce會接收到不同map任務傳來的數據，並且每個map傳來的數據都是有序的。如果reduce端接受的數據量相當小，則直接存儲在內存中（緩沖區大小由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比），當數據量超過該緩沖區大小的一定比例（由mapred.job.shuffle.merge.percent決定），則對數據合並后溢寫到磁盤中。
2）隨着溢寫文件的增多，后台線程會將它們合並成一個更大的有序的文件，這樣做是為了給后面的合並節省時間。其實不管在map端還是reduce端，MapReduce都是反復地執行排序，合並操作。排序是hadoop的靈魂。
3）合並的過程中會產生許多的中間文件（寫入磁盤），但MapReduce會讓寫入磁盤的數據盡可能地少，並且最后一次合並的結果並沒有寫入磁盤，而是直接輸入到reduce函數。
2.WordCount數據流程
在WordCount中，Map首先處理的數據經過分片獲取輸入，以鍵值對的形式，然后通過Map的切割，切割成一個個單詞，然后把每個單詞的計數標記為1，並且寫到環形內存緩沖區中，排序、合並，寫到分區中。
在Reduce段，每個Reduce把每個Map處理的數據中同一個patition的數據拷貝過來，並且經過排序、合並，數據格式類似<Hello,list(1,3,2)>，形成Reudce數據輸入。最后才寫道HDFS或其他渠道中。
其完整流程如下圖：
為了更加方便地描述，我自己畫了一張圖，來形容這個過程
這是我對整個流程一些淺薄地見解，有什么不明白地歡迎留言
參考網站：
https://blog.csdn.net/fanxin_i/article/details/80388221
https://www.cnblogs.com/laowangc/p/8961946.html
https://www.cnblogs.com/riordon/p/4605022.html