一致性Hash算法。 Hash算法是為了保證數據均勻的分布，例如有3個桶，分別是0號桶，1號桶和2號桶；現在有12個球，怎么樣才能讓12個球平均分布到3個桶中呢？使用Hash算法的做 ...

近期在做數據分析的時候。須要在mapreduce中調用c語言寫的接口。此時就須要把動態鏈接庫so文件分發到hadoop的各個節點上，原來想自己來做這個分發，大概過程就是把so文件放在hdfs上面，然后做mapreduce的時候把so文件從hdfs下載到本地，但查詢資料后發現hadoop有對應 ...

pom文件配置 ...

Hadoop排序，從大的范圍來說有兩種排序，一種是按照key排序，一種是按照value排序。如果按照value排序，只需在map函數中將key和value對調，然后在reduce函數中在對調回去。從小范圍來說排序又分成部分排序，全局排序，輔助排序(二次排序)等。本文介紹如何在Hadoop中實現 ...

二次排序，從字面上可以理解為在對key排序的基礎上對key所對應的值value排序，也叫輔助排序。一般情況下，MapReduce框架只對key排序，而不對key所對應的值排序，因此value的排序經常是不固定的。但是我們經常會遇到同時對key和value排序的需求，例如Hadoop權威指南中的求 ...

對於文件系統來說，windows上最長用的就是FAT32和NTFS。在Linux上時候用的是Ext2。在linux中，文件權限與文件屬性這兩部分會被存儲在不同的塊，權限與權限放置到inode中，實際數據放置到data block當中。另外還有一個超級塊(superblock)會記錄整個文件 ...

當執行 ./bin/hdfs dfs -put ./etc/hadoop/*.xml ../input 打算將xml移動到input文件夾中出錯 看它的報錯信息好像是節點沒有啟動，但是我的節點都啟動起來了，使用jps也能查看到節點信息。 使用hadoop dfsadmin ...

排序在很多業務場景都要用到，今天本文介紹如何借助於自定義Partition類實現hadoop部分排序。本文還是使用java和python實現排序代碼。 1、部分排序。 部分排序就是在每個文件中都是有序的，和其他文件沒有關系，其實很多業務場景就需要到部分排序，而不需要全局排序 ...