最近兩天研究spark直接讀取hbase數據，並將其轉化為dataframe。之所以這么做， 1、公司的數據主要存儲在hbase之中 2、使用dataframe，更容易實現計算。 盡管hbase的官方已經提供了hbase-spark 接口，但是並未對外發布，而且目前的項目 ...

1、構造函數format：將單個變量從str轉為float def format(value): value = float(value) return value 2、用apply函數將format應用於series所有的值 data.apply(format) ...

1、pandas數據的讀取 pandas需要先讀取表格類型的數據，然后進行分析 數據說明 說明 pandas讀取方法 csv、tsv、txt 用逗號分割、tab分割的純文本文件 pd.read_csv ...

Series 從 numpy 數組創建，並指定索引值 如果沒有指定索引，則默認會創建從 0 到 N-1 的數組作為索引值，這里的 N 是 Series 的長度（即它所包含的元素個數）： 通過索引訪問元素 從字典中創建 字典中的鍵將會作為索引值，字典中的值將會作為元素值 ...

方法：直接pd.DataFrame(dict)或pd.DataFrame.from_dict(dict) 但是，一個key只有一個value的字典如果直接轉化成數據框會報錯： 如下兩種方法可達成目標。 1. 將字典轉換成Series，將Series轉換成dataframe，並將 ...

series數據操作 增 查 改 刪 算術運算符 add　　加（add） sub　　減（substract） div　　除（divide） mul　　乘（multiple） DataFrame ...

一、Series Pandas的核心是三大數據結構：Series、DataFrame和Index。絕大多數操作都是圍繞這三種結構進行的。 Series是一個一維的數組對象，它包含一個值序列和一個對應的索引序列。 Numpy的一維數組通過隱式定義的整數索引獲取元素值，而Series用一種顯式定義 ...

在SQL語言中去重是一件相當簡單的事情，面對一個表（也可以稱之為DataFrame）我們對數據進行去重只需要GROUP BY 就好。 1.DataFrame去重 但是對於pandas的DataFrame格式就比較麻煩，我看了其他博客優化了如下三種方案。 我們先引入 ...