Spark2 Dataset之视图与SQL
// 创建视图 data.createOrReplaceTempView("Affairs") val df1 = spark.sql("SELECT * FROM Affairs WHERE age BETWEEN 20 AND 25") df1 ...
原文：Spark2 Dataset持久化存储级别StorageLevel
import org.apache.spark.storage.StorageLevel 数据持久缓存到内存中 data.cache data.persist 设置缓存级别data.persist StorageLevel.DISK ONLY 清除缓存data.unpersist data.unpersist blocking true 级别 使用空间 CPU时间 是否在内存中 是否在磁盘上 备注 ...
2016-11-25 15:40 0 6230 推荐指数：
相关推荐
Spark2 Dataset聚合操作
data.groupBy("gender").agg(count($"age"),max($"age").as("maxAge"), avg($"age").as("avgAge")).show ...
Spark2 DataSet 创建新行之flatMap
val dfList = List(("Hadoop", "Java,SQL,Hive,HBase,MySQL"), ("Spark", "Scala,SQL,DataSet,MLlib,GraphX")) dfList: List[(String, String)] = List ...
Spark2 Dataset去重、差集、交集
import org.apache.spark.sql.functions._ // 对整个DataFrame的数据去重 data.distinct() data.dropDuplicates() // 对指定列的去重 val colArray=Array ...
Spark2 Dataset之collect_set与collect_list
collect_set去除重复元素；collect_list不去除重复元素select gender, concat_ws(',', collect_set(children)), ...
Spark2 Dataset多维度统计cube与rollup
val df6 = spark.sql("select gender,children,max(age),avg(age),count(age) from Affairs group by Cube(gender,children) order by 1,2") df6.show +------+--------+--------+--------+----------+ ...
Spark2 Dataset DataFrame空值null,NaN判断和处理
import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Dataset import org.apache.spark.sql.Row import ...
Spark2 Dataset行列操作和执行计划
Dataset是一个强类型的特定领域的对象，这种对象可以函数式或者关系操作并行地转换。每个Dataset也有一个被称为一个DataFrame的类型化视图，这种DataFrame是Row类型的Dataset，即Dataset[Row] Dataset是“懒惰”的，只在执行行动操作时触发计算 ...