簡單的概念與說明
編碼(動詞):按照某種規則(這個規則稱為:編碼(名詞))將“文本”轉換為“字節流”。而在python 3中則表示:unicode變成str
解碼(動詞):將“字節流”按照某種規則轉換成“文本”。而在python3中則表示:str變成unicode
Python中編碼、解碼與Unicode的聯系
字符串在Python內部的表示是Unicode編碼,因此,在做編碼轉換時,通常需要以Unicode作為中間編碼,即先將其他編碼的字符串解碼(decode)成Unicode,再從Unicode編碼(encode)成另一種編碼。
在新版本的python3中,取消了unicode類型,代替它的是使用unicode字符的字符串類型(str),字符串類型(str)成為基礎類型如下所示,而編碼后的變為了字節類型(bytes)但是兩個函數的使用方法不變:
decode encode
bytes ------> str(unicode)------>bytes
u = '中文' #指定字符串類型對象u
str = u.encode('gb2312') #以gb2312編碼對u進行編碼,獲得bytes類型對象str
u1 = str.decode('gb2312')#以gb2312編碼對字符串str進行解碼,獲得字符串類型對象u1
u2 = str.decode('utf-8')#如果以utf-8的編碼對str進行解碼得到的結果,將無法還原原來的字符串內容
避免不了的是,文件讀取問題:
假如我們讀取一個文件,文件保存時,使用的編碼格式,決定了我們從文件讀取的內容的編碼格式,例如,我們從記事本新建一個文本文件test.txt, 編輯內容,保存的時候注意,編碼格式是可以選擇的,例如我們可以選擇gb2312,那么使用python讀取文件內容,方式如下:
f = open('test.txt','r')
s = f.read() #讀取文件內容,如果是不識別的encoding格式(識別的encoding類型跟使用的系統有關),這里將讀取失敗
'''假設文件保存時以gb2312編碼保存'''
u = s.decode('gb2312') #以文件保存格式對內容進行解碼,獲得unicode字符串
'''下面我們就可以對內容進行各種編碼的轉換了'''
str = u.encode('utf-8')#轉換為utf-8編碼的字符串str
str1 = u.encode('gbk')#轉換為gbk編碼的字符串str1
str1 = u.encode('utf-16')#轉換為utf-16編碼的字符串str1
codecs進行文件的讀取
python給我們提供了一個包codecs進行文件的讀取,這個包中的open()函數可以指定編碼的類型:
import codecs
f = codecs.open('text.text','r+',encoding='utf-8')#必須事先知道文件的編碼格式,這里文件編碼是使用的utf-8
content = f.read()#如果open時使用的encoding和文件本身的encoding不一致的話,那么這里將將會產生錯誤
f.write('你想要寫入的信息')
f.close()