Python常用的數據文件存儲格式大全（2021最新/最全/最詳細版）

序言：保存數據的方式各種各樣，最簡單的方式是直接保存為文本文件，如TXT、JSON、CSV等，除此之外Excel也是現在比較流行的存儲格式，通過這篇文章你也將掌握通過一些第三方庫(xlrd/xlwt/pandas/openpyxl)去操作Excel進行數據存儲與讀取，此一文足以！

 

一、TXT文本存儲

1.1 使用方式

TXT文本幾乎兼容任何平台，但是不利於檢索，如果對檢索和數據結構要求不高，尋求方便的話，可以采用TXT文本存儲格式

 

1.2 基本寫法

file = open('demo.txt','a',encoding='utf-8')
file.write(data)
file.close()

open()方法第一個參數表示要保存的目標文件名稱，也可指定絕對路徑，第二個參數a表示以追加的方式寫入到文本，這樣前面寫入的內容就不會被覆蓋，在爬蟲中一般使用的都是這種追加的方式。第三個參數指定文件的編碼為utf-8，接着寫入數據，最后用close()方法來關閉文件

 

1.3 打開方式

上面的參數a表示每次寫入文本時不會清空之前寫入的數據，而是在文本末尾寫入新的數據，這是一種打開方式，還有其他打開文件的方式：

r	以只讀方式打開文件
rb	以二進制只讀方式打開一個文件
r+	以讀寫方式打開一個文件
rb+	以二進制讀寫方式打開一個文件
w	以寫入方式打開文件
wb	以二進制寫入方式打開一個文件
w+	以讀寫方式打開一個文件
wb+	以二進制讀寫方式打開一個文件
a	以追加方式打開一個文件
ab	以二進制追加方式打開一個文件
a+	以讀寫方式打開一個文件
ab+	以二進制追加方式打開一個文件

 上面的b表示二進制，+表示以讀寫方式，r表示讀，w表示寫

 

1.4 簡化寫法

用with as 語法來寫入數據，文件會自動關閉，就不需要調用close()方法了，簡寫如下：

with open('demo.txt','a',encoding='utf-8') as f:
    f.write(data)

 

---

 

二、JSON文件存儲

2.1 適用方式

JSON，全稱為JavaScript Object Notation，也就是JavaScript對象標記，構造簡潔但是結構化程度非常高，采用對象和數組的組合來表示數據，是一種輕量級的數據交換格式，和XML有點類似，如果對數據結構有要求的話，可根據需求考慮此種方式

 

2.2 基本寫法

Python提供了json庫來實現對json文件的讀寫操作，通過調用json庫的loads()方法可以將json文本字符串轉換為json對象，而調用dumps()方法可以將json對象轉換為文本字符串，如下：

import json

with open('demo.json','w',encoding='utf-8') as f:
    f.write(json.dumps(data,indent=2,ensure_ascii=False))

import json

with open('demo.json','r',encoding='utf-8') as f:
    data = f.read()
    data = json.loads(data)
    price = data.get('price')
    location = data.get('location'）
    size = data.get('size')

indent代表縮進字符個數，ensure_ascii=False規定文件輸出的編碼，這樣就可以輸出中文

 

注意：JSON的數據需要用雙引號來包圍，不能使用單引號，代碼如下：

[
    {
        "name":"makerchen'，
        "gender":"male",
        "hobby":"running"
    }  
]

 

2.3 以TXT格式存儲JSON數據

如果我們想要把數據存儲為TXT格式，又想要把數據變為json這樣的結構，可以這樣實現：

import json

with open('demo.txt','a',encoding='utf-8') as f:
    f.write(json.dumps(data,indent=4,ensure_ascii=False) + '\n')

 

---

 

 三、CSV文件存儲

3.1 適用方式

CSV，全稱為Comma-Separated Values，中文名可以叫做字符分隔值或逗號分隔值，以純文本形式存儲表格數據，文本默認以逗號分隔，CSV相當於一個結構化表的純文本形式，比Excel文件更加簡潔，保存數據非常方便

 

3.2 單行寫入

import csv

with open('demo.csv','w',encoding='utf-8') as csvf:
    writer = csv.writer(csvf)
    writer.writerow(['id','name','gender'])
    writer.writerow(['100','makerchen','male'])
    writer.writerow(['101','makerliu','female'])
    writer.writerow(['102','makerqin','male'])

 首先調用csv庫的writer()方法初始化寫入對象，然后再調用writerow()方法傳入每行的數據即可完成寫入

 

Excel效果如下：

 

如果想修改列與列之間的分隔符，可以傳入參數delimiter，代碼如下：

import csv

with open('demo.csv','w',encoding='utf-8') as csvf:
    writer = csv.writer(csvf，delimiter=' ')
    writer.writerow(['id','name','gender'])
    writer.writerow(['100','makerchen','male'])
    writer.writerow(['101','makerliu','female'])
    writer.writerow(['102','makerqin','male'])

這里表示每一列數據以空格分隔

 

3.3 多行寫入

 調用writerows()方法就可以同時寫入多行，此時參數需要為二維列表，代碼如下：

import csv

with open('demo.csv','w',encoding='utf-8') as csvf:
    writer = csv.writer(csvf)
    writer.writerow(['id','name','gender'])
    writer.writerows(['100','makerchen','male'],
                     ['101','makerliu','female'],['102','makerqin','male'])

 

 3.4 字典寫入

 一般情況下，爬蟲提取的數據都是結構化數據，我們一般會用字典來表示，代碼如下：

import csv

with open('demo.csv','w',encoding='utf-8') as csvf:
    fieldnames = ['id','name','gender']
    writer = csv.DictWriter(csvf,fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'id':'100','name':'makerchen','gender':'male'})
    writer.writerow({'id':'101','name':'makerliu','gender':'female'})
    writer.writerow({'id':'102','name':'makerqin','gender':'male'})

 首先用fieldnames定義頭信息，然后將其傳給DictWriter來初始化一個字典寫入對象，接着用writeheader()方法寫入頭信息，最后調用writerow()方法傳入字典即可

 

如果想追加寫入的話，可將open()方法的第二個參數改為a，代碼如下：

with open('demo.csv','a',encoding='utf-8') as csvf

 

 3.5 讀取CSV文件

我們可以將剛才寫入的文件內容讀取出來，代碼如下：

import csv

with open('demo.csv','r',encoding='utf-8') as csvf:
  datas = csv.reader(csvf)
  for data in datas:
    print(data)

 

 輸出結果如下：

 

 通過遍歷輸出每行內容，每一行都是一個列表形式

 

注意：如果CSV文件中包含中文的話，還需要指定文件編碼

 

當然也可以用pandas庫中的read_csv()方法將數據從CSV中讀取出來：

import pandas as pd

data = pd.read_csv('demo.csv')
print(data)

 

此種方式在做數據分析的時候用的比較多，也是一種比較方便讀取CVS文件的方法

 

---

 

四、Excel文件存儲

4.1 xlwt數據寫入

Excel文件中包含了文本、數值、公式和格式等內容，而CSV不包含這些，默認打開編碼為Unicode，是現在比較流行的數據存儲格式

 

基本寫入方式

這里我們調用xlwt庫進行Excel的數據寫入，代碼如下：

import xlwt

file = xlwt.Workbook(encoding='utf-8')
table = file.add_sheet('data')
datas = [
      ['python實習生','貴陽','本科'],
      ['java實習生','杭州','本科'],
      ['爬蟲工程師','成都市','碩士']
    ]
for i,p in enumerate(datas):
  for j,q in enumerate(p):
    table.write(i,j,q)
file.save('demo.xls')

我們首先導入xlwt庫，然后調用Workbook()方法初始化一個可以操縱Excel表格的對象，並指定編碼格式為utf-8，接着再創建一個我們要寫入數據的指定表，用列表的形式創建二維數組，再用兩個for循環指定我們要添加數據的位置，這里的i表示外層列表元素所在位置的序號，j表示里層列表元素所在位置的序號，p和q分別表示外層列表和里層列表的元素值，table.write(i,j,q)表示在第i行和第j列插入數據q，最后保存Excel文件。

 

運行效果如下：

 

帶序號的寫入方式

代碼如下：

import xlwt

file = xlwt.Workbook(encoding = 'utf-8')
table = file.add_sheet('data')
data = {
  "1":['python實習生','貴陽','本科'],
  "2":['java實習生','杭州','本科'],
  "3":['爬蟲工程師','成都市','碩士']
  }
ldata = []
num = [a for a in data]
#for循環指定取出key值存入num中，也就是序號
num.sort()
print(num)
#字典數據取出后需要先排序，避免序號混亂
for x in num:
#for循環將data字典中的鍵和值分批的保存在ldata中
  t = [int(x)]
  for a in data[x]:
    print(t)
    t.append(a)
    print(t)
  ldata.append(t)
  print(ldata)

for i,p in enumerate(ldata):
#將數據寫入文件,i，j是enumerate()函數返回的序號數
  for j,q in enumerate(p):
    # print i,j,q
    table.write(i,j,q)
file.save('demo.xls')

 

控制台輸出如下：

 從上圖看，num就是一個帶有序號的列表，其值是data中的key，t是一個列表，並且它的第一個值也就是序號我們把它強制轉換成了整型，然后利用for循環遍歷data中value的每個字段值，並把這些字段值依次添加到列表t中；因為后面我們要以二維數組的形式把數據插入到Excel中，才能定位插入的位置，所以需要再構建一個列表ldata，最后再把列表t添加到列表ldata中，這樣就構成了二維數組，后面的寫法和上面的第一種寫法一樣

 

Excel效果如下：

 

注意：由於xlwt支持的Excel版本兼容問題，只支持Excel 97-2003(*.xls)，不支持Excel 2010(*.xlsx)和Excel 2016(*.xlsx)的，所以在保存時后綴需為.xls，否則可能會有如下錯誤提示：

 

4.2 xlrd數據讀取

這里我們用剛剛寫入的數據demo.xls進行讀取，代碼如下：

import xlrd

def read(xlsfile):
    file = xlrd.open_workbook(xlsfile)  # 得到Excel文件的book對象，實例化對象
    sheet0 = file.sheet_by_index(0)  # 通過sheet索引獲得sheet對象
    # sheet1 = book.sheet_by_name(sheet_name)  # 通過sheet名字來獲取，當然如果知道sheet名字就可以直接指定
    nrows = sheet0.nrows  # 獲取行總數
    ncols = sheet0.ncols  # 獲取列總數
    list = []
    for i in range(nrows):
        list.append([])
        for j in range(ncols):
        # print(sheet0.cell_value(i, j))
            list[i].append(str(sheet0.cell_value(i, j)))
    print(list)
    return list


def excel_to_data():
  list = read('demo.xls')
  for lis in list:
      print(lis)

if __name__ == '__main__':
  excel_to_data()

首先調用xlrd的open_workbook()方法創建操縱Excel文件的對象，然后通過sheet_by_index(index)方法或者sheet_by_name(sheet_name)方法根據索引、sheet名獲取sheet對象，然后獲取數據的總行數以及總列數，通過兩個for循環，調用sheet對象的cell_value(i, j)獲取單元格的值，強制轉換成字符串類型之后再根據索引添加到列表list中，以此構成二維數組，輸出並返回，最后再遍歷二維數組的每個元素(每個列表)進行輸出即可

 

控制台輸出如下：

 

注意：xlrd支持對后綴為.xls以及.xlsx的Excel文件的讀取；並且不論是xlwt還是xlrd，數據的起始索引位置都為0

 

4.3 pandas寫入或讀取Excel

pandas讀取

我們還是用上面的demo.xls進行操作：

import pandas as pd

data = pd.read_excel('demo.xls')
print(data)
print(type(data))

 

我們看一下控制台輸出結果：

我們可以觀察看，通過pandas庫的read_excel()方法，看起來好像更簡單，但它更偏向於數據分析，注意數據類型為DataFrame，輸出的數據中帶有序號

 

pandas寫入

import pandas as pd

data = pd.DataFrame([['python實習生','貴陽','本科'],['java實習生','杭州','本科'],['爬蟲工程師','成都市','碩士']])
data.to_excel('demo.xlsx')

 

Excel效果如下：

 

以pandas庫的DataFrame()方法存儲的數據都是帶有索引序號的，方便進行數據分析、建模等

 

注意：pandas庫支持后綴為.xlsx的Excel表格

 

4.4 openpyxl寫入或讀取Excel

openpyxl寫入

import openpyxl

wb = openpyxl.Workbook()
ws = wb.create_sheet('data')
ws.cell(row=1,column=1).value="職位"
ws.cell(row=1,column=2).value="位置"
ws.cell(row=1,column=3).value="學位"
wb.save('demo.xlsx')

 

Excel效果如下：

 

openpyxl讀取

import openpyxl

wb = openpyxl.load_workbook('demo.xlsx')
ws = wb.get_sheet_by_name('data')
rows = ws.max_row
columns = ws.max_column
datas = []
for i in range(1,rows+1):
    for j in range(1,columns+1):
        datas.append(str(ws.cell(i,j).value))
print(datas)

 

控制台輸出如下：

 

注意：openpyxl只支持后綴為.xlsx的Excel文件，並且讀取或寫入數據的索引位置均為1

 

個人推薦使用xlrd和xlwt以及pandas，這些庫操作Excel文件時數據的起始索引位置都為0，比較方便，不過也可以根據個人使用習慣以及需求來決定

 

原創不易，如果覺得有點用，希望可以隨手點個贊，拜謝各位老鐵！

 

---

 

 

五、作者Info

作者：南柯樹下，Goal：讓編程更有趣！

原創微信公眾號：『小鴻星空科技』，專注於算法、爬蟲，網站，游戲開發，數據分析、自然語言處理，AI等，期待你的關注，讓我們一起成長、一起Coding！

轉載說明：本文禁止抄襲、轉載 ，侵權必究！

 

---

 更多獨家精彩內容  請掃碼關注個人公眾號，我們一起成長，一起Coding，讓編程更有趣！

---

 

——  ——  ——  ——  —  END  ——  ——  ——  ——  ———— 

　　　　　　　  歡迎掃碼關注我的公眾號

　　　　　　　　　　小鴻星空科技