1)查看DataFrame數據及屬性
df_obj = DataFrame() #創建DataFrame對象
df_obj.dtypes #查看各行的數據格式
df_obj['列名'].astype(int)#轉換某列的數據類型
df_obj.head() #查看前幾行的數據,默認前5行
df_obj.tail() #查看后幾行的數據,默認后5行
df_obj.index #查看索引
df_obj.columns #查看列名
df_obj.values #查看數據值
df_obj.describe() #描述性統計
df_obj.T #轉置
df_obj.sort_values(by=['',''])#同上
2)使用DataFrame選擇數據
df_obj.iloc[1:3] #獲取1-3行的數據,該操作叫切片操作,獲取行數據
df_obj.iloc[columns_index] #獲取列的數據
df_obj.iloc[1:3,[1,3]]#獲取1列3列的1~3行數據
df_obj[columns].drop_duplicates() #剔除重復行數據
3)使用DataFrame重置數據:
df_obj.iloc[1:3,[1,3]]=1#所選位置數據替換為1
4)使用DataFrame篩選數據(類似SQL中的WHERE)
alist = ['023-18996609823']
df_obj['用戶號碼'].isin(alist) #將要過濾的數據放入字典中,使用isin對數據進行篩選,返回行索引以及每行篩選的結果,若匹配則返回ture
df_obj[df_obj['用戶號碼'].isin(alist)] #獲取匹配結果為ture的行
5)使用DataFrame模糊篩選數據(類似SQL中的LIKE)
df_obj[df_obj['套餐'].str.contains(r'.*?語音CDMA.*')] #使用正則表達式進行模糊匹配,*匹配0或無限次,?匹配0或1次
6)使用DataFrame進行數據轉換
df_obj['支局_維護線'] = df_obj['支局_維護線'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正則表達式
7)使用pandas中讀取數據
read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先輸入csv文本地址,然后分割符選擇等等
df.to_excel('foo.xlsx',sheet_name='Sheet1');#寫入讀取excel數據
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#讀取的數據是以DataFrame形式存儲
df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#寫入讀取HDF5數據
8)使用pandas聚合數據(類似SQL中的GROUP BY 或HAVING)
groupby(data_obj['支局_維護線'])
data_obj.groupby('支局_維護線')['用戶標識'] #上面的簡單寫法
adsl_obj.groupby('支局_維護線')['用戶標識'].agg([('ADSL','count')])#按支局進行匯總對用戶標識進行計數,並將計數列的列名命名為ADSL
9)使用pandas合並數據集(類似SQL中的JOIN)
merge(mxj_obj2, mxj_obj1 ,on='用戶標識',how='inner')# mxj_obj1和mxj_obj2將用戶標識當成重疊列的鍵合並兩個數據集,inner表示取兩個數據集的交集.
10)清理數據
df[df.isnull()]
df[df.notnull()]
df.dropna()#將所有含有nan項的row刪除
df.dropna(axis=1,thresh=3) #將在列的方向上三個為NaN的項刪除
df.dropna(how='ALL')#將全部項都是nan的row刪除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #對第一列nan值賦0,第二列賦值0.5
df.fillna(method='ffill') #在列方向上以前一個值作為值賦給NaN