python bytes和bytearray、編碼和解碼


str、bytes和bytearray簡介

str是字符數據,bytes和bytearray是字節數據。它們都是序列,可以進行迭代遍歷。str和bytes是不可變序列,bytearray是可變序列,可以原處修改字節。

bytes和bytearray都能使用str類型的通用函數,比如find()、replace()、islower()等,不能用的是str的格式化操作。所以,如有需要,參考字符串(string)方法整理來獲取這些函數的使用方法。

str

str將各個字符組合在一起,以一種不可變序列進行存儲。但是在底層它還是一個個的二進制數,是由一個個的字節組成的(也就是byte),只不過python根據指定的字符集編碼"強行"將字節序列顯示為字符。

python 3.x中默認str是unicode格式編碼的,例如UTF-8字符集。

>>> import sys
>>> sys.getdefaultencoding()
'utf-8'

unicode編碼的str,意味着能夠直接存儲除ascii碼外的很多字符,比如中文,比如歐洲的重音符號。還意味着可以將一個unicode字符存儲為多個字節,並將連續多個的字節翻譯成單個對應的字符。

>>> a = "我"
>>> a
'我'

>>> ord(a)
25105

>>> a.encode()
b'\xe6\x88\x91'

根據指定字符集,底層的字節序列和字符序列間的轉換過程完全無需人為的參與,python已經做好了一切。

bytes

bytes是不可變的二進制格式字節數據(注意,是字節不是字符),以整數方式表示。例如對於ascii范圍內的字符"a",它存儲為97。

要構造bytes類型的數據,方法之一是在字符串前面加上b或B前綴。

例如:

>>> B = b"abcd"
>>> [i for i in B]
[97, 98, 99, 100]

>>> B[0] = "A"
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'bytes' object does not support item assignment

bytes和下面的bytearray都能使用str類型的絕大部分方法。例如find()、replace()等,但用法上可能會有所區別,比如str.replace()的替換參數期待的是字符,而bytes.replace()的替換參數可能是字節。例如:

>>> b'abcd'.replace(b'cd',b'XY')
b'abXY'

bytearray

bytearray是可變的二進制數據(byte)

要構造bytearray對象,方法之一是將bytes數據作為bytearray()方法的參數,或者將str數據和編碼作為參數。

例如:

>>> S = b"abcd"
>>> BA = bytearray(S)

>>> [ i for i in BA ]
[97, 98, 99, 100]

>>> BA[0] = 65
>>> BA
bytearray(b'Abcd')

unicode字符

單字節的字符(8bit位,共256個字符,ascii只用到了7個字節)能表示出來的字符畢竟有限,例如它沒法表示出中文字符。

所以,各國設計了各種多字節的字符編碼來表達自己國家的文字,底層仍然使用二進制數存儲,然后通過設計好的編碼表將二進制數轉換成各種字符。比如中國有GBK的各種編碼,還有全球通用的編碼類型unicode、utf-8、utf-16等。

無論什么編碼,內部都包含ascii編碼(也有例外,比如utf-16),它只需單個字節。也就是說,ascii編碼是任何其它編碼表的子集。但有些編碼表強制規定每個字符占多少個字節(比如unicode固定為2個字節),有些編碼表動態決定每個字符占多少個字節(比如utf-8是變長的,可能占用1-4個字節空間,存儲字母為1個字節,存儲中文字符為3個字節)。

關於unicode和utf-X格式的編碼關系,粗略地可以認為utf-X是unicode格式的一種特殊類型。實際上在存儲utf數據時,內部會自動在Unicode和utf之間進行轉換。

要構建Unicode類型,只需加上u或U前綴。

>>> U = u"我愛你"

>>> B = bytes(U,"utf-8")
>>> B
b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'

>>> BA = bytearray(U,"utf-8")
>>> BA
bytearray(b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0')

編碼和解碼

下面一張圖搞懂編碼、解碼、編碼表之間的關系。

不難看出,它們是一種根據編碼表進行翻譯、映射的過程:

編碼:str   --> bytes
解碼:bytes --> str

實際上,字符串類型只有encode()方法,沒有decode()方法,而bytes類型只有decode()方法而沒有encode()方法。

>>> set( dir(str) ) - set( dir(bytes) )
{'encode', ... , 'isidentifier', 'format'}

>>> set( dir(bytes) ) - set( dir(str) )
{'decode', 'hex', 'fromhex'}

二進制格式的數據也常稱為裸數據(raw data),所以str數據經過編碼后得到raw data,raw data解碼后得到的str。

python中的編碼、解碼

上面說了,編碼是將字符數據轉換成字節數據(raw data),解碼是將字節數據轉換成字符數據。在Python中字符數據也就是字符串,即str類型,字節數據也就是bytes類型或bytearray類型。

編碼時,可以使用字節類型的構造方法bytes()、bytearray()來構造字節,也可以使用str類型的encode()方法來轉換

解碼時,可以使用str類型的構造方法str()來構造字符串,也可以使用bytes、bytearray()類型的decode()方法

另外需要注意的是,編碼和解碼的過程中都需要指定編碼表(字符集),默認采用的是utf-8字符集。

編碼過程

例如,使用encode()的方式將str編碼為bytes數據。

>>> str1 = "abcd"
>>> str2 = "我愛你"

# 默認編碼
>>> str1.encode()
b'abcd'
>>> str2.encode()
b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'

# 顯式指定使用utf-8進行編碼
>>> str1.encode("utf-8")
b'abcd'
>>> str2.encode("utf-8")
b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'

# 使用utf-16編碼
>>> str1.encode("utf-16")
b'\xff\xfea\x00b\x00c\x00d\x00'
>>> str2.encode("utf-16")
b'\xff\xfe\x11b1r`O'

# 使用gb2312編碼
>>> str1.encode("gb2312")
b'abcd'
>>> str2.encode("gb2312")
b'\xce\xd2\xb0\xae\xc4\xe3'

# 使用gbk編碼
>>> str1.encode("gbk")
b'abcd'
>>> str2.encode("gbk")
b'\xce\xd2\xb0\xae\xc4\xe3'

使用bytes()和bytearray()將str構造成bytes或bytearray數據,這兩個方法都要求str->byte的過程中給定編碼。

>>> bytes(str1,encoding="utf-8")
b'abcd'
>>> bytes(str1,encoding="utf-16")
b'\xff\xfea\x00b\x00c\x00d\x00'

>>> bytearray(str1,encoding="utf-8")
bytearray(b'abcd')
>>> bytearray(str2,encoding="utf-8")
bytearray(b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0')

實際上,bytes()、bytearray()這兩個方法構造字節數據的時候還有點復雜,因為可以從多個數據源來構造,比如字符串、整數值、buffer。如何使用這兩個方法構造字節數據,詳細內容參考help(bytes)help(bytearray)給出的說明,這里給幾個簡單示例。

構造bytes的方式:

# 構造空bytes對象
>>> bytes()
b''

# 使用str構造bytes序列,需要指定編碼
>>> bytes("abcd",encoding="utf-8")
b'abcd'

# 使用int初始化5個字節的bytes序列
>>> bytes(5)
b'\x00\x00\x00\x00\x00'

# 使用可迭代的int序列構造字節序列
# int值必須為0-256以內的數
>>> bytes([65,66,67])
b'ABC'

# 使用bytes或buffer來構造bytes對象
>>> bytes(b'abcd')
b'abcd'

構造bytearray的方式:

# 構造空bytearray對象
>>> bytearray()
bytearray(b'')

# 使用bytes或buffer構造bytearray序列
>>> bytearray(b"abcd")
bytearray(b'abcd')

# 使用str構造bytearray序列,需要指定編碼
>>> bytearray("abcd",encoding="utf-8")
bytearray(b'abcd')

# 使用int初始化5個字節的bytearray序列
>>> bytearray(5)
bytearray(b'\x00\x00\x00\x00\x00')

# 使用可迭代的int序列構造bytearray序列
# int值必須為0-256以內的數
>>> bytearray([65,66,67])
bytearray(b'ABC')

解碼過程

解碼是字節序列到str類型的轉換。

例如,使用decode()方法進行解碼"我"字,它的utf-8的編碼對應為"\xe6\x88\x91":

>>> b = b'\xe6\x88\x91'

# 采用默認字符集utf-8
>>> b.decode()
'我'

# 顯式指定編碼表
>>> b.decode("utf-8")
'我'

使用str()進行轉換。

>>> str(b,"utf-8")
'我'

關於亂碼

當編碼、解碼的過程使用了不同的(不兼容的)編碼表時,就會出現亂碼。所以,解決亂碼的唯一方式是指定對應的編碼表進行編碼、解碼。

例如,使用utf-8編碼"我"字,得到一個bytes序列,然后使用gbk解碼這個bytes序列。

>>> "我".encode().decode("gbk")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'gbk' codec can't decode byte 0x91 in position 2: incomplete multibyte sequence

這里報錯了,因為utf-8的字節序列里有gbk無法解碼的字節。如果使用文本編輯器一樣的工具去顯化這個過程,得到的將是亂碼字符。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM