四、10分鍾ToPandas_0.24.2

# Author:Zhang Yuan整理，版本Pandas0.24.2
# 0. 習慣上，我們會按下面格式引入所需要的包：
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 1. 創建對象 Object Creation---------------------------------------------------------------
# 可以通過 數據結構入門 來查看有關該節內容的詳細信息。

# 1.1 可以通過傳遞一個 list 對象來創建一個 Series ，pandas 會默認創建整型索引：
s = pd.Series([1,3,5,np.nan,6,8])
s

# 1.2 通過傳遞一個 numpy array ，時間索引以及列標簽來創建一個 DataFrame ：
dates = pd.date_range('20130101', periods=6)
dates
df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
df

# 1.3 通過傳遞一個能夠被轉換成類似序列結構的字典對象來創建一個 DataFrame ：
df2 = pd.DataFrame({ 'A': 1.,
                     'B': pd.Timestamp('20130102'),
                     'C': pd.Series(1, index=list(range(5)), dtype='float32'),
                     'D': np.array([3] * 5, dtype='int32'),
                     'E': pd.Categorical(["test", "train", "test", "train","add"]),
                     'F': 'foo' })
df2

# 1.4 查看不同列的數據類型：
df2.dtypes

# 2. 查看數據Viewing Data---------------------------------------------------

# 2.1 查看 DataFrame 中頭部和尾部的行：十分鍾搞定 Pandas
df.head()
df.tail(3)

# 2.2 顯示索引. 列和底層的 numpy 數據：
df.index
df.columns
df.values

# 2.3 DataFrame.to_numpy（）給出了底層數據的NumPy表示。 請注意，當您的DataFrame具有不同數據類型的列時，他可能是一項昂貴的操作，這歸結為pandas和NumPy之間的根本區別：NumPy數組對整個數組有一個dtype，而pandas DataFrames每列有一個dtype。 當您調用DataFrame.to_numpy（）時，pandas將找到可以容納DataFrame中所有dtypes的NumPy dtype。 這可能最終成為對象，這需要將每個值都轉換為Python對象。
df.to_numpy() # 對於df，我們的所有浮點值的DataFrame，DataFrame.to_numpy（）都很快，不需要復制數據。
df2.to_numpy()# 對於df2，具有多個dtypes的DataFrame，DataFrame.to_numpy（）相對昂貴。

# 2.4 describe() 函數對於數據的快速統計匯總：
df.describe()

# 2.5 對數據的轉置：
df.T

# 2.6 按軸進行排序:
df.sort_index(axis=1, ascending=False)

# 2.7 按值進行排序:
df.sort_values(by='B')

# 3. 選擇Selection-----------------------------------------------------------------
# 雖然標准的 Python/Numpy 的選擇和設置表達式都能夠直接派上用場，但是作為工程使用的代碼，我們推薦使用經過優化的 pandas 數據訪問方式： .at , .iat ,.loc , .iloc。

# 3.1 獲取Getting
# 3.1.1 選擇一個單獨的列，這將會返回一個 Series ，等同於 df.A ：
df['A']
# 3.1.2 通過 [] 進行選擇，這將會對行進行切片
df[0:3]
df['20130102':'20130104']

# 3.2 通過標簽選擇Selection by Label
# 3.2.1 使用標簽來獲取一個交叉的區域
df.loc[dates[0]]
# 3.2.2 通過標簽來在多個軸上進行選擇
df.loc[:, ['A', 'B']]
# 3.2.3 標簽切片
df.loc['20130102':'20130104', ['A', 'B']]
# 3.2.4 對於返回的對象進行維度縮減
df.loc['20130102', ['A', 'B']]
# 3.2.5 獲取一個標量
df.loc[dates[0], 'A']
# 3.2.6 快速訪問一個標量（與上一個方法等價）
df.at[dates[0], 'A']

# 3.3 通過位置選擇Selection by Position
# 3.3.1 通過傳遞數值進行位置選擇（選擇的是行）
df.iloc[3]
# 3.3.2 通過數值進行切片，與 numpy/python 中的情況類似
df.iloc[3:5, 0:2]
# 3.3.3 通過指定一個位置的列表，與 numpy/python 中的情況類似
df.iloc[[1, 2, 4], [0, 2]]
# 3.3.4 對行進行切片
df.iloc[1:3, :]
# 3.3.5 對列進行切片
df.iloc[:, 1:3]
# 3.3.6 獲取特定的值
df.iloc[1, 1]
# 3.3.7 快速訪問標量（等同於前一個方法）：
df.iat[1, 1]

# 3.4 布爾索引 Boolean Indexing
# 3.4.1 使用一個單獨列的值來選擇數據：
df[df.A > 0]
# 3.4.2 使用 where 操作來選擇數據：
df[df > 0]
# 3.4.3 使用 isin() 方法來過濾：
df2 = df.copy()
df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
df2
df2[df2['E'].isin(['two', 'four'])]

# 3.5 設置Setting
# 3.5.1 設置一個新的列：
s1 = pd.Series([1, 2, 3, 4, 5, 6], index=pd.date_range('20130102', periods=6))
s1
# 3.5.2 通過標簽設置新的值：
df.at[dates[0], 'A'] = 0
# 3.5.3 通過位置設置新的值：
df.iat[0, 1] = 0
# 3.5.4 通過一個numpy數組設置一組新值：
df.loc[:, 'D'] = np.array([5] * len(df))
df
# 3.5.5 通過where操作來設置新的值：
df2 = df.copy()
df2[df2 > 0] = -df2
df2

# 4. 缺失值處理Missing Data---------------------------------------------------------------
# 在 pandas 中，使用 np.nan 來代替缺失值，這些值將默認不會包含在計算中，詳情請參閱：缺失的數據。

# 4.1 reindex() 方法可以對指定軸上的索引進行改變/增加/刪除操作，這將返回原始數據的一個拷貝：
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1], 'E'] = 1
df1

# 4.2 去掉包含缺失值的行：
df1.dropna(how='any')

# 4.3 對缺失值進行填充：
df1.fillna(value=5)

# 4.4 對數據進行布爾填充：
pd.isna(df1)

# 5. 相關操作Operations------------------------------------------------------------------
# 詳情請參與 基本的二進制操作

# 5.1 統計（相關操作通常情況下不包括缺失值）.
# 5.1.1 執行描述性統計：
df.mean()
# 5.1.2 在其他軸上進行相同的操作：
df.mean(1)
# 5.1.3 對於擁有不同維度，需要對齊的對象進行操作。Pandas 會自動的沿着指定的維度進行廣播：
s = pd.Series([1, 3, 5, np.nan, 6, 8], index=dates).shift(2)
df.sub(s, axis='index')

# 5.2 應用Apply
# 對數據應用函數：
df.apply(np.cumsum)
df.apply(lambda x: x.max() - x.min())

# 5.3直方圖
s = pd.Series(np.random.randint(0, 7, size=10))
s
s.value_counts()

# 5.4字符串方法
# Series 對象在其 str 屬性中配備了一組字符串處理方法，可以很容易的應用到數組中的每個元素，如下段代碼所示。更多詳情請參考：字符串向量化方法。
s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()

# 6. 合並Merge---------------------------------------------------------------------------

# 6.1 Concat
# Pandas 提供了大量的方法能夠輕松的對 Series ， DataFrame 和 Panel 對象進行各種符合各種邏輯關系的合並操作。具體請參閱：合並。
# 使用concat()連接pandas對象：
df = pd.DataFrame(np.random.randn(10, 4))
df
pieces = [df[:3], df[3:7], df[7:]]
pd.concat(pieces)

# 6.2 Join
# 類似於 SQL 類型的合並，具體請參閱：數據庫風格的連接
left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
left
right
pd.merge(left, right, on='key')
# 另一個例子：
left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
left
right
pd.merge(left, right, on='key')

# 6.3Append
# 將一行連接到一個 DataFrame 上，具體請參閱附加：
df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
df
s = df.iloc[3]
df.append(s, ignore_index=True)

# 7. 分組Grouping------------------------------------------------------------------------------
# 對於”group by”操作，我們通常是指以下一個或多個操作步驟：
# （Splitting）按照一些規則將數據分為不同的組；
# （Applying）對於每組數據分別執行一個函數；
# （Combining）將結果組合到一個數據結構中；
df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar',
                          'foo', 'bar', 'foo', 'foo'],
                    'B': ['one', 'one', 'two', 'three',
                          'two', 'two', 'one', 'three'],
                    'C': np.random.randn(8),
                    'D': np.random.randn(8)})
df
# 7.1 分組並對每個分組執行 sum 函數：
df.groupby('A').sum()
# 7.2 通過多個列進行分組形成一個層次索引，然后執行函數：
df.groupby(['A', 'B']).sum()

# 8. 改變形狀Reshaping-------------------------------------------------------------------------
# 詳情請參閱 層次索引 和 改變形狀。

# 8.1 棧方法 Stack ，二維數據與多索引的一維數據之間轉變
tuples = list(zip(*[['bar', 'bar', 'baz', 'baz','foo', 'foo', 'qux', 'qux'],
                     ['one', 'two', 'one', 'two','one', 'two', 'one', 'two'],
                     ['a', 'b', 'a', 'b','a', 'b', 'a', 'b']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second',"third"]) #三重索引
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
df2
# 8.1.1 stack()方法“壓縮”DataFrame列中的級別（具有MultiIndex作為索引）。
stacked = df2.stack() #列轉成索引，變成更多index的一維數據
stacked
# 8.1.2 使用“stacked”DataFrame或Series（具有MultiIndex作為索引），stack()的反向操作是unstack()，默認情況下取消堆棧最后一級：
stacked.unstack()   #默認最后一級索引變成列
stacked.unstack(1)  #第二層變成列
stacked.unstack(0)  #第一層變成列

# 8.2 數據透視表 Pivot Tables (其實就是把內容作為索引來展示二維數據)
df = pd.DataFrame({ 'A': ['one', 'one', 'two', 'three'] * 3,
                    'B': ['AA', 'BB', 'CC'] * 4,
                    'C': ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                    'D': np.random.randn(12),
                    'E': np.random.randn(12)})
df
# 可以從這個數據中輕松的生成數據透視表：
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])

# 9. 時間序列--------------------------------------------------------------------------------
# Pandas 在對頻率轉換進行重新采樣時擁有簡單、強大且高效的功能（如將按秒采樣的數據轉換為按5分鍾為單位進行采樣的數據）。這種操作在金融領域非常常見。具體參考：時間序列。
rng = pd.date_range('1/1/2012', periods=100, freq='S')
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min').sum() #轉成5min數據

# 9.1 時區表示：
rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts
ts_utc = ts.tz_localize('UTC')
ts_utc

# 9.2 時區轉換：
ts_utc.tz_convert('US/Eastern')

# 9.3 時間跨度轉換：
rng = pd.date_range('1/1/2012', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts
ps = ts.to_period()
ps
ps.to_timestamp()

# 9.4 時期和時間戳之間的轉換使得可以使用一些方便的算術函數。
prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9
ts.head()

# 10. 分類 Categorical
# pandas 可以在 DataFrame 中支持 Categorical 類型的數據
df = pd.DataFrame({"id": [1, 2, 3, 4, 5, 6],
                   "raw_grade": ['a', 'b', 'b', 'a', 'a', 'e']})

# 10.1 將原始的 grade 轉換為 Categorical 數據類型：
df["grade"] = df["raw_grade"].astype("category")
df["grade"]

# 10.2 將 Categorical 類型數據重命名為更有意義的名稱：
df["grade"].cat.categories = ["very good", "good", "very bad"]

# 10.3 對類別進行重新排序，增加缺失的類別：
df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium",
                                              "good", "very good"])
df["grade"]

# 10.4 排序是按照 Categorical 的順序進行的而不是按照字典順序進行：
df.sort_values(by="grade")

# 10.5 對 Categorical 列進行排序，也存在空的類別：
df.groupby("grade").size()

# 11. 畫圖 Plotting----------------------------------------------------------
ts = pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000', periods=1000))
ts = ts.cumsum()
ts.plot();plt.show()
# 11.1 對於 DataFrame 來說， plot 是一種將所有列及其標簽進行繪制的簡便方法：
df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index,columns=['A', 'B', 'C', 'D'])
df = df.cumsum()
plt.figure()
df.plot()
plt.legend(loc='best');plt.show()

# 12. 導入和保存數據 Getting Data In/Out----------------------------------------
import os
# 目錄引導結果在Console和run結果不同
print("os.getcwd():",os.getcwd())
print("abspath:",os.path.abspath("11.10MinutesToPandas0.24.2.py"))

# 12.1.1 寫入 csv 文件：
df.to_csv("foo.csv")
# 12.1.2 從 csv 文件中讀取：
pd.read_csv("foo.csv")

# 12.2 HDF5
# 12.2.1 寫入 HDF5 存儲：
df.to_hdf('foo.h5', 'df')
# 12.2.2 從 HDF5 存儲中讀取：
pd.read_hdf('foo.h5', 'df')

# 12.3 Excel
# 12.3.1 寫入excel文件：
df.to_excel('foo.xlsx', sheet_name='Sheet1')
# 12.3.2 從excel文件中讀取：
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

# 13. 陷阱 Gotchas--------------------------------------------------------
# 如果你嘗試某個操作並且看到如下異常：(不能以Series化格式進行bool判定)
# if pd.Series([False, True, False]):
#      print("I was true")