总结： group 单纯分组 partition 也能分组，但还具备累计的功能 order by 排序，与计算函数联用，需要累加计算 0、select * from test; ---测试数据 1、select v1,v2,sum(v2) over(order ...

今天看到一个老兄的问题， 大概如下： 查询出部门的最低工资的userid 号 表结构： D号 工资 部门 userid salary dept ...

今天学到一个新技巧，求累加和：sum over (partition order by) 一直没想清楚和group by 的区别，灵光闪现找到了本质区别： partition by 不改变数据行数，原来多少行还是多少行，group by 改变行数，只保留了group by 之后的结果。 下面 ...

在Spark中使用sql时一些功能需要自定义方法实现，这时候就可以使用UDF功能来实现 多参数支持 UDF不支持参数*的方式输入多个参数，例如String*，不过可以使用array来解决这个问题。 定义udf方法，此处功能是将多个字段合并为一个字段 在sql ...

partition by关键字是oracle中分析性函数的一部分，它和聚合函数不同的地方在于它能返回一个分组中的多条记录，而聚合函数一般只有一条反映统计值的记录，partition by用于给结果集分组，如果没有指定那么它把整个结果集作为一个分组，它有一部分函数既是聚合函数也是分析函数 ...

网上有篇关于hive的partition的使用讲解的比较好，转载了： 一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定 ...

今天群里看到一个问题，在这里概述下：查询出不同分类下的最新记录。一看这不是很简单的么，要分类那就用Group By;要最新记录就用Order By呗。然后在自己的表中试着做出来： 首先呢我把表中的数据按照提交时间倒序出来： “corp_name”就是分类的GUID（请原谅我命名的随意性 ...

spark中RDD、DataFrame、DataSet都是spark的数据集合抽象，RDD针对的是一个个对象,但是DF与DS中针对的是一个个Row RDD 优点: 编译时类型安全 编译时就能检查出类型错误 面向对象的编程风格 直接通过类名点的方式来操作数据 缺点: 序列化 ...