1.前言 Spark是基於內存的計算，而Hadoop是基於磁盤的計算；Spark是一種內存計算技術。 但是事實上，不光Spark是內存計算，Hadoop其實也是內存計算。 Spark和Hadoop的根本差異是多個任務之間的數據通信問題：Spark多個任務之間數據通信是基於內存，而Hadoop ...

step1 input InputFormat讀取數據，將數據轉換成<key ,value>對,設置FileInputFormat，默認是文本格式（TextInputForma ...

1.簡介 　　現在很少用到使用MR計算框架來實現功能，通常的做法是使用hive等工具輔助完成。但是對於其底層MR的原理還是有必要做一些了解。 2.MR客戶端程序實現套路 　　這一小節總結歸納編寫mr客戶端程序的一般流程和套路。將以wordcount為例子進行理解。 　　運行一個mr程序 ...

1、概念 2、Split機制 3、MR Shuffle過程 4、MR中REDUCE與MAP寫作過程 5、MR全貌 ...

1.日志內容樣式 目前所接觸到的日志一種是網頁請求日志，一種是埋點日志，一種后端系統日志。 1.1請求日志 請求日志是用戶訪問網站時，打開網址或點 ...

模型架構： 執行計算任務有兩個角色一個是JobTracker，一個是TaskTracker，前者用於管理和調度工作，后者用於執行工作。 一般來說一個Hadoop集群由一個JobTracker和N個TaskTracker構成。 可以理解為shuffle描述着Map task ...

1.隨便在哪個目錄新增一個文檔。內容隨便輸入 mkdir words 2.在hdfs 中新建文件輸入目錄 ./hdfs dfs -mkdir /test 3.把新建的文檔 (/home/hadoop/test/words) 上傳到新建的(test) hdfs目錄 ...

1、map到reduce中間的一個過程 　　洗牌,打亂(打亂我們傳遞的所有元素)(流程:input->map->reduce->output) 2、map()->shuff ...