想要随意的在pandas 和spark 的dataframe之间进行转换，list类型是关键，因为想要创建pandas的dataframe，方法之一就是使用list类型的data进行创建，而如果要创建spark的dataframe， list也是一种方法。 所以呢，下面的代码我添加了一些注释 ...

pandas的dataframe转spark的dataframe spark的dataframe转pandas的dataframe 由于pandas的方式是单机版的，即toPandas()的方式是单机版的，所以参考breeze_lsw改成分布式版本： ...

18.11.15更新，因为代码用set的话集群跑不了，所以更改为一直用dataframe进行操作，发现Pandas和spark中对dataframe的操作不同，所以增加了pandas的group操作 　　最近进行关联规则算法的学习，使用的是tpch里的数据，取了customer和part ...

pandas中，这三种方法都是用来对表格进行重排的，其中stack()是unstack()的逆操作。某种意义上，unstack()方法和pivot()方法是很像的，主要的不同在于，unstack()方法是针对索引或者标签的，即将列索引转成最内层的行索引；而pivot()方法则是针对列的值，即指 ...

切片选择 #显示第一行数据print(df.head(1)) #显示倒数三行数据 print(df.tail(3)) loc df.loc[row_index,col_index] ...

在Spark开发中，有时为了更好的效率，特别是涉及到关联操作的时候，对数据进行重新分区操作可以提高程序运行效率（很多时候效率的提升远远高于重新分区的消耗，所以进行重新分区还是很有价值的）。在SparkSQL中，对数据重新分区主要有两个方法 repartition 和 coalesce ，下面将对 ...

repartition repartition 有三个重载的函数： 1) def repartition(numPartitions: Int): DataFrame 此方法返回一个新的[[DataFrame]]，该[[DataFrame]]具有确切 ...

现有一个数据框pandas的dataframe: 期望输出 现在我想遍历这个数据框的每一行， 在每一行当中我想通过列名访问第一行的每一个元素，例如，实现以下效果： 这里推送一个非常好用的函数： iterrows() 这个函数同时返回 索引和行对象 ...