Hadoop3.0新特性介紹，比Spark快10倍的Hadoop3.0新特性 Apache hadoop 項目組最新消息，hadoop3.x以后將會調整方案架構，將Mapreduce 基於內存+io ...

前言： 有一段時間沒有寫博客了(發現這是我博客最常見的開頭，不過這次間隔真的好長），前段時間事情比較多，所以耽擱得也很多。 現在准備計划寫一個新的專題，叫做《hadoop雜記》，里面的文章有深有淺 ...

最近在部署Hive上線，結果在線上線下同時出現了MoveTask報錯的現象，雖然兩者錯誤的日志以及錯誤信息一樣，但是經過分析解決又發現兩者的原因是不一樣的。 首先線下的錯誤日志： 這 ...

數據去重： 原理(理解)：Mapreduce程序首先應該確認<k3,v3>,根據<k3,v3>確定<k2,v2>，原始數據中出現次數超過一次的數據在輸 ...

TextInputFormat 父類(TextInputFormat本身含義為把每一行解析成鍵值對) FileInputFor ...

一、MapReduce的優缺點： 優點：1.易於編程；2.良好的擴展性；3.高容錯性；4.適合PB級別以上的大數據的分布式離線批處理。 缺點：1.難以實時計算（MapReduce處理的是存儲在本地 ...

臨時要處理一批數據,目標是從銷售訂單明細獲得電子商務常見的一些推薦:1.購買了XX的用戶還購買了什么 2.XX經常和YY一起購買 3.XX商品被同一用戶多次購買;這是典型的MapReduce場景, ...

分組：相同key的value進行分組 例子：如下輸入輸出，右邊的第一列沒有重復值，第二列取得是當第一列相同時第二例取最大值 分析：首先確定<k3,v3& ...

第一部分.Hadoop計數器簡述 hadoop計數器: 可以讓開發人員以全局的視角來審查程序的運行情況以及各項指標，及時做出錯誤診斷並進行相應處理。 內置計數器（MapRedu ...