Python3 中codecs進行文件的讀取


簡單的概念與說明

編碼(動詞):按照某種規則(這個規則稱為:編碼(名詞))將“文本”轉換為“字節流”。而在python 3中則表示:unicode變成str

解碼(動詞):將“字節流”按照某種規則轉換成“文本”。而在python3中則表示:str變成unicode

Python中編碼、解碼與Unicode的聯系

字符串在Python內部的表示是Unicode編碼,因此,在做編碼轉換時,通常需要以Unicode作為中間編碼,即先將其他編碼的字符串解碼(decode)成Unicode,再從Unicode編碼(encode)成另一種編碼。

在新版本的python3中,取消了unicode類型,代替它的是使用unicode字符的字符串類型(str),字符串類型(str)成為基礎類型如下所示,而編碼后的變為了字節類型(bytes)但是兩個函數的使用方法不變:

      decode              encode
bytes ------> str(unicode)------>bytes
u = '中文' #指定字符串類型對象u 
str = u.encode('gb2312') #以gb2312編碼對u進行編碼,獲得bytes類型對象str 
u1 = str.decode('gb2312')#以gb2312編碼對字符串str進行解碼,獲得字符串類型對象u1 
u2 = str.decode('utf-8')#如果以utf-8的編碼對str進行解碼得到的結果,將無法還原原來的字符串內容

避免不了的是,文件讀取問題:

假如我們讀取一個文件,文件保存時,使用的編碼格式,決定了我們從文件讀取的內容的編碼格式,例如,我們從記事本新建一個文本文件test.txt, 編輯內容,保存的時候注意,編碼格式是可以選擇的,例如我們可以選擇gb2312,那么使用python讀取文件內容,方式如下:

f = open('test.txt','r')
s = f.read() #讀取文件內容,如果是不識別的encoding格式(識別的encoding類型跟使用的系統有關),這里將讀取失敗

'''假設文件保存時以gb2312編碼保存'''
u = s.decode('gb2312') #以文件保存格式對內容進行解碼,獲得unicode字符串

'''下面我們就可以對內容進行各種編碼的轉換了'''
str = u.encode('utf-8')#轉換為utf-8編碼的字符串str
str1 = u.encode('gbk')#轉換為gbk編碼的字符串str1
str1 = u.encode('utf-16')#轉換為utf-16編碼的字符串str1

codecs進行文件的讀取

python給我們提供了一個包codecs進行文件的讀取,這個包中的open()函數可以指定編碼的類型:

import codecs 
f = codecs.open('text.text','r+',encoding='utf-8')#必須事先知道文件的編碼格式,這里文件編碼是使用的utf-8 
content = f.read()#如果open時使用的encoding和文件本身的encoding不一致的話,那么這里將將會產生錯誤 
f.write('你想要寫入的信息') 
f.close()


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM