[大牛翻譯系列]Hadoop（18）MapReduce 文件處理：基於壓縮的高效存儲（一）
5.2 基於壓縮的高效存儲 （僅包括技術25，和技術26） 數據壓縮可以減小數據的大小，節約空間，提高數據傳輸的效率。在處理文件中，壓縮很重要。在處理Hadoop的文件時，更是如此。為了讓Hadoop更高效處理文件，就需要選擇一個合適的壓縮編碼器，加快作業運行，增加集群的數據存儲能力 ...
原文：[大牛翻譯系列]Hadoop（17）MapReduce 文件處理：小文件
. 小文件 大數據這個概念似乎意味着處理GB級乃至更大的文件。實際上大數據可以是大量的小文件。比如說，日志文件通常增長到MB級時就會存檔。這一節中將介紹在HDFS中有效地處理小文件的技術。 技術 使用Avro存儲多個小文件假定有一個項目akin在google上搜索圖片，並將數以百萬計的圖片存儲分別在HDFS中。很不幸的是，這樣做恰好碰上了HDFS和MapReduce的弱項，如下： Hadoop的 ...
2014-03-20 06:47 0 3911 推薦指數：
相關推薦
[大牛翻譯系列]Hadoop（7）MapReduce：抽樣（Sampling）
4.3 抽樣（Sampling） 用基於MapReduce的程序來處理TB級的數據集，要花費的時間可能是數以小時計。僅僅是優化代碼是很難達到良好的效果。 在開發和調試代碼的時候，沒有必要處理整個數據集。但如果在這種情況下要保證數據集能夠被正確地處理，就需要用到抽樣了。抽樣是統計學中的一個方法 ...
Hadoop 小文件處理
1. 小文件的產生原因 定義: 當一個文件的大小小於 HDFS 的塊大小（默認128MB）就認定為小文件，否則就是大文件 批處理,離線計算, 會有小文件的產生; 數據處理時,把數據源搬遷到 HDFS,如果數據源本身就是有很多小文件; MapReduce作業 ...
[大牛翻譯系列]Hadoop（5）MapReduce 排序：次排序（Secondary sort）
4.2 排序（SORT） 在MapReduce中，排序的目的有兩個： MapReduce可以通過排序將Map輸出的鍵分組。然后每組鍵調用一次reduce。 在某些需要排序的特定場景中，用戶可以將作業（job）的全部輸出進行總體排序。 例如：需要了解前N個最受歡迎的用戶或網頁 ...
[大牛翻譯系列]Hadoop（2）MapReduce 連接：復制連接（Replication join）
4.1.2 復制連接（Replication join） 復制連接是map端的連接。復制連接得名於它的具體實現：連接中最小的數據集將會被復制到所有的map主機節點。復制連接有一個假設前提：在被連接的數據集中，有一個數據集足夠小到可以緩存在內存中。 如圖4.5所示，MapReduce復制連接工作 ...
(翻譯)Hadoop中合並小文件
本文翻譯自如下網址：http://jugnu-life.blogspot.com/2013/01/merging-small-files-in-hadoop.html，如需轉載，請注明出處，謝謝！ 在講述如何解決這個問題（小文件問題）之前，我們先總結一下問題是什么和它為什么會成為一個問題 ...
Hadoop MapReduce編程 API入門系列之小文件合並（二十九）
不多說，直接上代碼。 Hadoop 自身提供了幾種機制來解決相關的問題，包括HAR，SequeueFile和CombineFileInputFormat。 Hadoop 自身提供的幾種小文件合並機制 Hadoop HAR ...
Hadoop之小文件處理與調優經驗
HDFS小文件弊端： HDFS上每個文件都要在namenode上建立一個索引，這個索引的大小約為150byte，這樣當小文件比較多的時候，就會產生很多的索引文件，一方面會大量占用namenode的內存空間，另一方面就是索引文件過大是的索引速度變慢 ...