想要隨意的在pandas 和spark 的dataframe之間進行轉換，list類型是關鍵，因為想要創建pandas的dataframe，方法之一就是使用list類型的data進行創建，而如果要創建spark的dataframe， list也是一種方法。 所以呢，下面的代碼我添加了一些注釋 ...

pandas的dataframe轉spark的dataframe spark的dataframe轉pandas的dataframe 由於pandas的方式是單機版的，即toPandas()的方式是單機版的，所以參考breeze_lsw改成分布式版本： ...

18.11.15更新，因為代碼用set的話集群跑不了，所以更改為一直用dataframe進行操作，發現Pandas和spark中對dataframe的操作不同，所以增加了pandas的group操作 　　最近進行關聯規則算法的學習，使用的是tpch里的數據，取了customer和part ...

pandas中，這三種方法都是用來對表格進行重排的，其中stack()是unstack()的逆操作。某種意義上，unstack()方法和pivot()方法是很像的，主要的不同在於，unstack()方法是針對索引或者標簽的，即將列索引轉成最內層的行索引；而pivot()方法則是針對列的值，即指 ...

切片選擇 #顯示第一行數據print(df.head(1)) #顯示倒數三行數據 print(df.tail(3)) loc df.loc[row_index,col_index] ...

在Spark開發中，有時為了更好的效率，特別是涉及到關聯操作的時候，對數據進行重新分區操作可以提高程序運行效率（很多時候效率的提升遠遠高於重新分區的消耗，所以進行重新分區還是很有價值的）。在SparkSQL中，對數據重新分區主要有兩個方法 repartition 和 coalesce ，下面將對 ...

repartition repartition 有三個重載的函數： 1) def repartition(numPartitions: Int): DataFrame 此方法返回一個新的[[DataFrame]]，該[[DataFrame]]具有確切 ...

現有一個數據框pandas的dataframe: 期望輸出 現在我想遍歷這個數據框的每一行， 在每一行當中我想通過列名訪問第一行的每一個元素，例如，實現以下效果： 這里推送一個非常好用的函數： iterrows() 這個函數同時返回 索引和行對象 ...