由于Scala才刚刚开始学习，还是对python更为熟悉，因此在这记录一下自己的学习过程，主要内容来自于spark的官方帮助文档，这一节的地址为： http://spark.apache.org/d ...

行列之间的互相转换是ETL中的常见需求，在Spark SQL中，行转列有内建的PIVOT函数可用，没什么特别之处。而列转行要稍微麻烦点。本文整理了2种可行的列转行方法，供参考。 本文链接：ht ...

作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 SparkSQL这块儿从1.4开始支持了很多的窗口分析函数，像row_number这些，平时写 ...

 本人CSDN同篇文章：PySpark—DataFrame笔记  DataFrame基础 + 示例，为了自查方便汇总了关于PySpark-dataframe相关知识点，集合了很多篇博客和知乎内容，结合 ...

1. map(func) 将func函数作用到数据集的每个元素，生成一个新的分布式的数据集并返回 2. filter(func) 选出所有func返回值为true的元素，作为一个 ...

数据科学交流群，群号：189158789 ，欢迎各位对数据科学感兴趣的小伙伴的加入！ 1.Excel Excel 处理的单表最大数据量为1048576行和16384列。一般来说处理规模在10 ...

最近加入一个Spark项目，作为临时的开发人员协助进行开发工作。该项目中不存在测试的概念，开发人员按需求进行编码工作后，直接向生产系统部署，再由需求的提出者在生产系统检验程序运行结果的正确性。在这种原 ...

作者：Syn良子 出处：http://www.cnblogs.com/cssdongl/p/7449682.html 转载请注明出处 最近在折腾pyspark的HbaseConverters，由于资料 ...

背景说明 实习期间需要使用Spark处理一些集群上的数据，其实Spark是基于Scala语言的（和Java比较接近），但我是Python用的多，况且Spark2.0之后对Python的支持友好了许多 ...

作者：Syn良子 出处：http://www.cnblogs.com/cssdongl/p/7347167.html 转载请注明出处 记录自己最近抽空折腾虚拟机环境时用spark2.0的pyspar ...