請原諒沒有一次寫完,本文是自己學習過程中的記錄,完善pandas的學習知識,對於現有網上資料的缺少和利用python進行數據分析這本書部分知識的過時,只好以記錄的形勢來寫這篇文章.最如果后續工作定下來有時間一定完善pandas庫的學習,請見諒! by LQJ 2015-10-25
前言:
首先推薦一個比較好的Python pandas DataFrame學習網址
網址: http://www.cnblogs.com/chaosimple/p/4153083.html
說明:
首先百度Python pandas DataFrame,下面列出DataFrame該數據結構的部分使用方法,並對其進行說明, DataFrame和Series作為padans兩個主要的數據結構.
如果你經常使用SQL數據庫或者做過數據分析等相關工作,可以更快的上手python的pandas庫,其pandas庫的使用方法跟SQL語句的一些語法類似,只不過語言 變了而已.
正文:
import pandas as pd 引用pandas時使用pd名稱就可
使用DataFrame查看數據(類似SQL中的select):
from pandas import DataFrame #從pandas庫中引用DataFrame
df_obj = DataFrame() #創建DataFrame對象
df_obj.dtypes #查看各行的數據格式
df_obj.head() #查看前幾行的數據,默認前5行
df_obj.tail() #查看后幾行的數據,默認后5行
df_obj.index #查看索引
df_obj.columns #查看列名
df_obj.values #查看數據值
df_obj.describe #描述性統計
df_obj.T #轉置
df_obj.sort(columns = ‘’)#按列名進行排序
df_obj.sort_index(by=[‘’,’’])#多列排序,使用時報該函數已過時,請用sort_values
df_obj.sort_values(by=['',''])同上
使用DataFrame選擇數據(類似SQL中的LIMIT):
df_obj[‘客戶名稱’] #顯示列名下的數據
df_obj[1:3] #獲取1-3行的數據,該操作叫切片操作,獲取行數據
df_obj.loc[:0,['用戶號碼','產品名稱']] #獲取選擇區域內的數據,逗號前是行范圍,逗號后是列范圍,注loc通過標簽選擇數據,iloc通過位置選擇數據
df_obj['套餐'].drop_duplicates() #剔除重復行數據
使用DataFrame重置數據:
df_obj.at[df_obj.index,'支局_維護線']='自有廳' #通過標簽設置新的值,如果使用iat則是通過位置設置新的值
使用DataFrame篩選數據(類似SQL中的WHERE):
alist = ['023-18996609823']
df_obj['用戶號碼'].isin(alist) #將要過濾的數據放入字典中,使用isin對數據進行篩選,返回行索引以及每行篩選的結果,若匹配則返回ture
df_obj[df_obj['用戶號碼'].isin(alist)] #獲取匹配結果為ture的行
使用DataFrame模糊篩選數據(類似SQL中的LIKE):
df_obj[df_obj['套餐'].str.contains(r'.*?語音CDMA.*')] #使用正則表達式進行模糊匹配,*匹配0或無限次,?匹配0或1次
使用DataFrame進行數據轉換(后期補充說明)
df_obj['支局_維護線'] = df_obj['支局_維護線'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正則表達式
df_obj['支局_維護線'].drop_duplicates() #返回一個移除重復行的數據
可以設置take_last=ture 保留最后一個,或保留開始一個.補充說明:注意take_last=ture已過時,請使用keep='last'
使用pandas中讀取文本數據:
read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先輸入csv文本地址,然后分割符選擇等等
使用pandas聚合數據(類似SQL中的GROUP BY 或HAVING):
data_obj['用戶標識'].groupby(data_obj['支局_維護線'])
data_obj.groupby('支局_維護線')['用戶標識'] #上面的簡單寫法
adsl_obj.groupby('支局_維護線')['用戶標識'].agg([('ADSL','count')])
#按支局進行匯總對用戶標識進行計數,並將計數列的列名命名為ADSL
使用pandas合並數據集(類似SQL中的JOIN):
merge(mxj_obj2, mxj_obj1 ,on='用戶標識',how='inner')# mxj_obj1和mxj_obj2將用戶標識當成重疊列的鍵合並兩個數據集,inner表示取兩個數據集的交集.