Hive去重统计 先说核心： 经常在公司还能看到。很多老人用distinct去重，很容易数据量大的时候的数据倾斜。感谢上次冲哥的指正。 相信使用Hive的人平时会经常用到去重统计之类的吧，但是好像平时很少关注这个去重的性能问题，但是当一个表的数据量非常大的时候，会发现一个 ...

MySQL中distinct和group by性能比较[转] 之前看了网上的一些测试，感觉不是很准确，今天亲自测试了一番。得出了结论(仅在个人计算机上测试，可能不全面，仅供参考) 测试过程： 准备一张测试表 建个储存过程向表中插入10W条数据 调用存储过程 ...

count distinct vs. count group by 　　很多情景下，尤其对于文本类型的字段，直接使用count distinct的查询效率是非常低的，而先做group by更count往往能提升查询效率。但实验表明，对于不同的字段，count distinct与count ...

hive里的group by和distinct 前言 今天才明确知道group by实际上还是有去重读作用的，其实细想一下，按照xx分类，肯定相同的就算是一类了，也就相当于去重来，详细的看一下。 group by 看一下实例1： 按照这个去分类，最后结果只有一个，达到了去重 ...

PS - 个人博客原文：Distinct 与 Group by 的比较 看了很多文章，这两个SQL语句在不同的数据库上面的实现上可能有相同或有不同，但是应当要明确它们在功能概念上的区别，最终得出结论： GROUP BY 用来使用聚集函数获得值，比如 AVG, MAX, MIN, SUM ...

-- 创建一个测试表 create table tp_content( id int not null, title char(32) not null, addtime date not null ...

distinct方式就是两两对比，需要遍历整个表。group by分组类似先建立索引再查索引，所以两者对比，小表destinct快，不用建索引。大表group by快。一般来说小表就算建索引，也不会慢到哪去，但是如果是TB级大表，遍历简直就是灾难。所以很多ORACLE项目都禁止使用distinct ...

在自己的本子上随便测了下几款HttpServer，环境信息就不贴出来了，主要是比对下差距。 测试内容是输出 text/plain 的 hello, world。 先说结论：Netty > J ...