轉載請注明來源：cuixiaolei的技術博客 這里講下android的分區。具體的使用在另一片文章中介紹，這里只是把它拿出來介紹。 android的存儲分為兩種 　　一種叫做RAM，如e ...

MapReduce的設計思想 主要的思想是分而治之(divide and conquer),分治算法。 將一個大的問題切分成很多小的問題，然后在集群中的各個節點上執行，這既是Map過程。在Map過程結束之后，會有一個Ruduce的過程，這個過程即將所有的Map階段產出 ...

MapReduce過程源碼分析 Mapper   首先mapper完成映射，將word映射成(word,1)的形式。   MapReduce進程，Map階段也叫MapTask，在MapTask中會通過run()方法來調用我們用戶重寫的mapper() 方法，   分布式的運算程序往往需要分成 ...

概括：combine和partition都是函數。中間的步驟應該僅僅有shuffle！1.combinecombine分為map端和reduce端，作用是把同一個key的鍵值對合並在一起，能夠自己定義的。combine函數把一個map函數產生的<key,value>對（多個key ...

http://www.aboutyun.com/thread-8927-1-1.html Mapreduce在hadoop中是一個比較難以的概念。以下須要用心看，然后自己就能總結出來了。 概括： combine和partition都是函數。中間的步驟應該 ...

原理圖： 中間結果的排序與溢出(spill)流程圖 map分析： (1)、輸入分片(input split):在進行mapreduce之前，mapreduce首先會對輸入文件進行輸入分片(input split)操作，每一個輸入分片針對一個map任務，輸入分片（input ...

這是我的分析，當然查閱書籍和網絡。如有什么不對的，請各位批評指正。以下的類有的並不完全，只列出重要的方法。 如要轉載，請注上作者以及出處。 一、源碼閱讀環境 需要安裝jdk1.7.0版本及其以上版本，還需要安裝Eclipse閱讀hadoop源碼。 Eclipse安裝教程參見我的博客 ...

在Hive客戶端執行HQL查詢報錯，該查詢走的是MapReduce，此時需要查看MapReduce的日志信息。 那么MR的日志在哪里呢? 首先啟動historyserver，認情況下HistoryServer沒有啟動 進入到hadoop的bin目錄下，執行以下命令，開啟之后,jps一下確認 ...