站長用Python寫了一個可以提取csv任一列的代碼,歡迎使用。Github鏈接
csv是Comma-Separated Values的縮寫,是用文本文件形式儲存的表格數據,比如如下的表格:
就可以存儲為csv文件,文件內容是:No.,Name,Age,Score
1,Apple,12,98
2,Ben,13,97
3,Celia,14,96
4,Dave,15,95
假設上述csv文件保存為"A.csv",如何用Python像操作Excel一樣提取其中的一行,也就是一條記錄,利用Python自帶的csv模塊,有兩種方法可以實現:
第一種方法使用reader函數,接收一個可迭代的對象(比如csv文件),能返回一個生成器,就可以從其中解析出csv的內容:比如下面的代碼可以讀取csv的全部內容,以行為單位:import csv
得到:
with open('A.csv','rb') as csvfile:
reader = csv.reader(csvfile)
rows = [row for row in reader]
print rows[['No.', 'Name', 'Age', 'Score'],
['1', 'Apple', '12', '98'],
['2', 'Ben', '13', '97'],
['3', 'Celia', '14', '96'],
['4', 'Dave', '15', '95']]
要提取其中第二行,可以用下面的代碼:import csv
得到:
with open('A.csv','rb') as csvfile:
reader = csv.reader(csvfile)
for i,rows in enumerate(reader):
if i == 2:
row = rows
print row ['2', 'Ben', '13', '97']
這種方法是通用的方法,要事先知道行號,比如Ben的記錄在第2行,而不能根據'Ben'這個名字查詢。這時可以采用第二種方法:
第二種方法是使用DictReader,和reader函數類似,接收一個可迭代的對象,能返回一個生成器,但是返回的每一個單元格都放在一個字典的值內,而這個字典的鍵則是這個單元格的標題(即列頭)。用下面的代碼可以看到DictReader的結構:import csv
得到:
with open('A.csv','rb') as csvfile:
reader = csv.DictReader(csvfile)
rows = [row for row in reader]
print rows[{'Age': '12', 'No.': '1', 'Score': '98', 'Name': 'Apple'},
{'Age': '13', 'No.': '2', 'Score': '97', 'Name': 'Ben'},
{'Age': '14', 'No.': '3', 'Score': '96', 'Name': 'Celia'},
{'Age': '15', 'No.': '4', 'Score': '95', 'Name': 'Dave'}]
如果我們想用DictReader讀取csv的某一列,就可以用列的標題查詢:import csv
就得到:
with open('A.csv','rb') as csvfile:
reader = csv.DictReader(csvfile)
for row in reader:
if row['Name']=='Ben':
print row{'Age': '13', 'No.': '2', 'Score': '97', 'Name': 'Ben'}
可見,DictReader很適合讀取csv的的行(記錄)。
1、csv簡介
CSV (Comma Separated Values),即逗號分隔值(也稱字符分隔值,因為分隔符可以不是逗號),是一種常用的文本
格式,用以存儲表格數據,包括數字或者字符。很多程序在處理數據時都會碰到csv這種格式的文件,它的使用是比
較廣泛的(Kaggle上一些題目提供的數據就是csv格式),csv雖然使用廣泛,但卻沒有通用的標准,所以在處理csv
格式時常常會碰到麻煩,幸好Python內置了csv模塊。下面簡單介紹csv模塊中最常用的一些函數。
更多內容請參考:https://docs.python.org/2/library/csv.html#module-csv
2、csv模塊中的函數
- reader(csvfile, dialect='excel', **fmtparams)
參數說明:
csvfile,必須是支持迭代(Iterator)的對象,可以是文件(file)對象或者列表(list)對象,如果是文件對象,打開時需要加"b"標志參數。dialect,編碼風格,默認為excel的風格,也就是用逗號(,)分隔,dialect方式也支持自定義,通過調用register_dialect方法來注冊,下文會提到。fmtparam,格式化參數,用來覆蓋之前dialect對象指定的編碼風格。
- import csv
- with open('test.csv','rb') as myFile:
- lines=csv.reader(myFile)
- for line in lines:
- print line
'test.csv'是文件名,‘rb’中的r表示“讀”模式,因為是文件對象,所以加‘b’。open()返回了一個文件對象
myFile,reader(myFile)只傳入了第一個參數,另外兩個參數采用缺省值,即以excel風格讀入。reader()返回一個
reader對象lines,lines是一個list,當調用它的方法lines.next()時,會返回一個string。上面程序的效果是將csv
文件中的文本按行打印,每一行的元素都是以逗號分隔符','分隔得來。
在我的test.csv文件中,存儲的數據如圖:
程序輸出:
['1', '2']
['3', 'a']
['4', 'b']
補充:reader對象還提供一些方法:line_num、dialect、next()
- writer(csvfile, dialect='excel', **fmtparams)
參數的意義同上,這里不贅述,直接上例程:
- with open('t.csv','wb') as myFile:
- myWriter=csv.writer(myFile)
- myWriter.writerow([7,'g'])
- myWriter.writerow([8,'h'])
- myList=[[1,2,3],[4,5,6]]
- myWriter.writerows(myList)
'w'表示寫模式。
首先open()函數打開當前路徑下的名字為't.csv'的文件,如果不存在這個文件,則創建它,返回myFile文件對象。
csv.writer(myFile)返回writer對象myWriter。
writerow()方法是一行一行寫入,writerows方法是一次寫入多行。
注意:如果文件't.csv'事先存在,調用writer函數會先清空原文件中的文本,再執行writerow/writerows方法。
補充:除了writerow、writerows,writer對象還提供了其他一些方法:writeheader、dialect
- register_dialect(name, [dialect, ]**fmtparams)
這個函數是用來自定義dialect的。
參數說明:
name,你所自定義的dialect的名字,比如默認的是'excel',你可以定義成'mydialect'
[dialect, ]**fmtparams,dialect格式參數,有delimiter(分隔符,默認的就是逗號)、quotechar、
quoting等等,可以參考Dialects and Formatting Parameters
- csv.register_dialect('mydialect',delimiter='|', quoting=csv.QUOTE_ALL)
上面一行程序自定義了一個命名為mydialect的dialect,參數只設置了delimiter和quoting這兩個,其他的仍然采用
默認值,其中以'|'為分隔符。接下來我們就可以像使用'excel'一樣來使用'mydialect'了。我們來看看效果:
在我test.csv中存儲如下數據:
以'mydialect'風格打印:
- with open('test.csv','rb') as myFile:
- lines=csv.reader(myFile,'mydialect')
- print lines.line_num
- for line in lines:
- print line
輸出:
['1,2', '3']
['4,5', '6']
可以看到,現在是以'|'為分隔符,1和2合成了一個字符串(因為1和2之間的分隔符是逗號,而mydialect風格的分隔
符是'|'),3單獨一個字符串。
對於writer()函數,同樣可以傳入mydialect作為參數,這里不贅述。
- unregister_dialect(name)
這個函數用於注銷自定義的dialect
此外,csv模塊還提供get_dialect(name)、list_dialects()、field_size_limit([new_limit])等函數,這些都比較
簡單,可以自己試試。比如list_dialects()函數會列出當前csv模塊里所有的dialect:
- print csv.list_dialects()
輸出:
['excel-tab', 'excel', 'mydialect']
'mydialect'是自定義的,'excel-tab', 'excel'都是自帶的dialect,其中'excel-tab'跟'excel'差不多,
只不過它以tab為分隔符。
csv模塊還定義了
一些類:DictReader、DictWriter、Dialect等,DictReader和DictWriter類似於reader和writer。
一些常量:QUOTE_ALL、QUOTE_MINIMAL、.QUOTE_NONNUMERIC等,這些常量可以作為Dialects and Formatting Parameters的值。
先寫到這,其他的以后用到再更新。