Spark RDD的默认分区数：（spark 2.1.0）
本文基于Spark 2.1.0版本 新手首先要明白几个配置： spark.default.parallelism：（默认的并发数） 如果配置文件spark-de ...
花费 9 ms
查看spark RDD 各分区内容
mapPartitionsWithIndexdef mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preserv ...
sparksql udf自定义函数中参数过多问题的解决
在进行spark sql数据库操作中，常常需要一些spark系统本身不支持的函数，如获取某一列值中的字符串。 如要获取 “aaaakkkkk”中的第4－第8个字符。 针对这种需求，只有 ...