一致性Hash算法。 Hash算法是为了保证数据均匀的分布，例如有3个桶，分别是0号桶，1号桶和2号桶；现在有12个球，怎么样才能让12个球平均分布到3个桶中呢？使用Hash算法的做 ...

近期在做数据分析的时候。须要在mapreduce中调用c语言写的接口。此时就须要把动态链接库so文件分发到hadoop的各个节点上，原来想自己来做这个分发，大概过程就是把so文件放在hdfs上面，然后做mapreduce的时候把so文件从hdfs下载到本地，但查询资料后发现hadoop有对应 ...

pom文件配置 ...

Hadoop排序，从大的范围来说有两种排序，一种是按照key排序，一种是按照value排序。如果按照value排序，只需在map函数中将key和value对调，然后在reduce函数中在对调回去。从小范围来说排序又分成部分排序，全局排序，辅助排序(二次排序)等。本文介绍如何在Hadoop中实现 ...

二次排序，从字面上可以理解为在对key排序的基础上对key所对应的值value排序，也叫辅助排序。一般情况下，MapReduce框架只对key排序，而不对key所对应的值排序，因此value的排序经常是不固定的。但是我们经常会遇到同时对key和value排序的需求，例如Hadoop权威指南中的求 ...

对于文件系统来说，windows上最长用的就是FAT32和NTFS。在Linux上时候用的是Ext2。在linux中，文件权限与文件属性这两部分会被存储在不同的块，权限与权限放置到inode中，实际数据放置到data block当中。另外还有一个超级块(superblock)会记录整个文件 ...

当执行 ./bin/hdfs dfs -put ./etc/hadoop/*.xml ../input 打算将xml移动到input文件夹中出错 看它的报错信息好像是节点没有启动，但是我的节点都启动起来了，使用jps也能查看到节点信息。 使用hadoop dfsadmin ...

排序在很多业务场景都要用到，今天本文介绍如何借助于自定义Partition类实现hadoop部分排序。本文还是使用java和python实现排序代码。 1、部分排序。 部分排序就是在每个文件中都是有序的，和其他文件没有关系，其实很多业务场景就需要到部分排序，而不需要全局排序 ...