數據處理時經常會涉及csv讀寫操作,存在很多小tip,總結一下,方便使用。首先read_csv()是pandas的方法,to_csv()是DataFrame類的方法。
1. read_csv()
pandas.read_csv( filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, nrows=None, na_values=None, keep_default_na=True,
na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False,
iterator=False, chunksize=None, compression='infer', thousands=None, decimal=b'.',
lineterminator=None, quotechar='"', quoting=0, escapechar=None, comment=None,
encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True,
warn_bad_lines=True, skipfooter=0, skip_footer=0, doublequote=True,
delim_whitespace=False, as_recarray=None, compact_ints=None, use_unsigned=None,
low_memory=True, buffer_lines=None, memory_map=False, float_precision=None )
參數特別多,挑幾個常用的總結一下
- filepath_or_buffer:文件所在處的路徑
pd.read_csv('C:/Users/My/Path/test.csv') #絕對位置
- sep:指定分隔符,默認為逗號','
pd.read_csv('C:/Users/My/Path/test.csv',sep='?') #以?為分隔符,讀取csv文件
- delimiter:定界符,備選分隔符(如果指定該參數,則sep參數失效)
pd.read_csv('C:/Users/My/Path/test.csv',sep='?',delimiter=' ') #以空格作為分隔符讀取文件,分隔符'?'失效
- header:默認設置為0(即第一行作為表頭),如果沒有表頭的話,要修改參數,設置header=None
pd.read_csv('C:/Users/My/Path/test.csv',header=None) #讀出csv文件無表頭
- names:指定列的名稱,用列表表示。
pd.read_csv('C:/Users/My/Path/test.csv',names=['index','A','B']) #表頭中各列名字為index,A,B
- index_col:指定哪一列數據作為行索引,可以是一列,也可以多列
pd.read_csv('C:/Users/My/Path/test.csv',index_col='A') #列為A的列作為行索引
- prefix:給列名添加前綴。
pd.read_csv('C:/Users/My/Path/test.csv',prefix='test') #當文件無表頭,設置表頭中列名全都加上test前綴,即test0,test1...
- nrows:int, default None需要讀取的行數(從文件頭開始算起)
pd.read_csv('C:/Users/My/Path/test.csv',nrows=10) #讀取10行數據
- encoding:讀取文件是使用的編碼方式
pd.read_csv('C:/Users/My/Path/test.csv',encoding='utf-8')
- skiprows:需要忽略的行數(從文件開始處算起),或需要跳過的行號列表(從0開始),默認為None
pd.read_csv('C:/Users/My/Path/test.csv',skiprows=5) #跳過前五行數據(包括表頭數據)
2. DataFrame.to_csv()
DataFrame.to_csv( path_or_buf=None, sep=', ', na_rep='',float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression=None, quoting=None, quotechar='"', line_terminator='\n', chunksize=None, tupleize_cols=None, date_format=None, doublequote=True, escapechar=None, decimal='.')
參數相對少很多
- path_or_buf: 保存文件的路徑
df.to_csv('test.csv') #相對位置,保存在os.getcwd()獲得的路徑下 df.to_csv('C:/Users/My/Path/test.csv') #絕對位置
- sep:輸出文件的字段分隔符,默認為”,”
df.to_csv('C:/Users/My/Path/test.csv',sep='?')#使用?分隔需要保存的數據,如果不寫,默認是,
- na_rep:替換空值,默認為‘’
df.to_csv('C:/Users/My/Path/test.csv',na_rep='NA') #確實值保存為NA,如果不寫,默認是空
- float_format:浮點數格式
df.to_csv('C:/Users/My/Path/test.csv',float_format='%.2f') #保留兩位小數
- cols: 保留某列數據,默認為None
df.to_csv('C:/Users/think/Desktop/Result.csv',columns=['name']) #保存索引列和name列
- header:是否保留列名,默認為True
df.to_csv('C:/Users/My/Path/test.csv',header=0) #不保存列名
- index:是否保留行索引,默認為True
df.to_csv('C:/Users/My/Path/test.csv',index=False) #不保存行索引
- index_label:索引的列標簽,字符串或序列,或False,默認為None
df.to_csv('C:/Users/My/Path/test.csv',index_label='Index') #行索引列名為'Index'
- mode:str保存模式:值為‘str’,默認“w”
df.to_csv('C:/Users/My/Path/test.csv',mode='a') #增量存入csv
- encoding:輸出文件中使用的編碼,默認為“UTF-8”
df.to_csv('C:/Users/My/Path/test.csv',encoding='utf_8_sig') #中文出現亂碼,改用utf_8_sig可解決