有的時候需要用python處理二進制數據,比如,存取文件,socket操作時.這時候,可以使用python的struct模塊來完成.可以用 struct來處理c語言中的結構體.
struct模塊中最重要的三個函數是pack(), unpack(), calcsize()
pack(fmt, v1, v2, ...) 按照給定的格式(fmt),把數據封裝成字符串(實際上是類似於c結構體的字節流)
unpack(fmt, string) 按照給定的格式(fmt)解析字節流string,返回解析出來的tuple
calcsize(fmt) 計算給定的格式(fmt)占用多少字節的內存
struct中支持的格式如下表:
Format | C Type | Python | 字節數 |
---|---|---|---|
x | pad byte | no value | 1 |
c | char | string of length 1 | 1 |
b | signed char | integer | 1 |
B | unsigned char | integer | 1 |
? | _Bool | bool | 1 |
h | short | integer | 2 |
H | unsigned short | integer | 2 |
i | int | integer | 4 |
I | unsigned int | integer or long | 4 |
l | long | integer | 4 |
L | unsigned long | long | 4 |
q | long long | long | 8 |
Q | unsigned long long | long | 8 |
f | float | float | 4 |
d | double | float | 8 |
s | char[] | string | 1 |
p | char[] | string | 1 |
P | void * | long |
注1.q和Q只在機器支持64位操作時有意思
注2.每個格式前可以有一個數字,表示個數
注3.s格式表示一定長度的字符串,4s表示長度為4的字符串,但是p表示的是pascal字符串
注4.P用來轉換一個指針,其長度和機器字長相關
注5.最后一個可以用來表示指針類型的,占4個字節
為了同c中的結構體交換數據,還要考慮有的c或c++編譯器使用了字節對齊,通常是以4個字節為單位的32位系統,故而struct根據本地機器字節順序轉換.可以用格式中的第一個字符來改變對齊方式.定義如下:
Character | Byte order | Size and alignment |
---|---|---|
@ | native | native 湊夠4個字節 |
= | native | standard 按原字節數 |
< | little-endian | standard 按原字節數 |
> | big-endian | standard 按原字節數 |
! | network (= big-endian) | standard 按原字節數 |
使用方法是放在fmt的第一個位置,就像'@5s6sif'
示例一:
比如有一個結構體
struct Header
{
unsigned short id;
char[4] tag;
unsigned int version;
unsigned int count;
}
通過socket.recv接收到了一個上面的結構體數據,存在字符串s中,現在需要把它解析出來,可以使用unpack()函數.
import struct
id, tag, version, count = struct.unpack("!H4s2I", s)
上面的格式字符串中,!表示我們要使用網絡字節順序解析,因為我們的數據是從網絡中接收到的,在網絡上傳送的時候它是網絡字節順序的.后面的H表示 一個unsigned short的id,4s表示4字節長的字符串,2I表示有兩個unsigned int類型的數據.
就通過一個unpack,現在id, tag, version, count里已經保存好我們的信息了.
同樣,也可以很方便的把本地數據再pack成struct格式.
ss = struct.pack("!H4s2I", id, tag, version, count);
pack函數就把id, tag, version, count按照指定的格式轉換成了結構體Header,ss現在是一個字符串(實際上是類似於c結構體的字節流),可以通過 socket.send(ss)把這個字符串發送出去.
示例二:
import struct
a=12.34
#將a變為二進制
bytes=struct.pack('i',a)
此時bytes就是一個string字符串,字符串按字節同a的二進制存儲內容相同。
再進行反操作
現有二進制數據bytes,(其實就是字符串),將它反過來轉換成python的數據類型:
a,=struct.unpack('i',bytes)
注意,unpack返回的是tuple
所以如果只有一個變量的話:
bytes=struct.pack('i',a)
那么,解碼的時候需要這樣
a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)
如果直接用a=struct.unpack('i',bytes),那么 a=(12.34,) ,是一個tuple而不是原來的浮點數了。
如果是由多個數據構成的,可以這樣:
a='hello'
b='world!'
c=2
d=45.123
bytes=struct.pack('5s6sif',a,b,c,d)
此時的bytes就是二進制形式的數據了,可以直接寫入文件比如 binfile.write(bytes)
然后,當我們需要時可以再讀出來,bytes=binfile.read()
再通過struct.unpack()解碼成python變量
a,b,c,d=struct.unpack('5s6sif',bytes)
'5s6sif'這個叫做fmt,就是格式化字符串,由數字加字符構成,5s表示占5個字符的字符串,2i,表示2個整數等等,下面是可用的字符及類型,ctype表示可以與python中的類型一一對應。
注意:二進制文件處理時會碰到的問題
我們使用處理二進制文件時,需要用如下方法
binfile=open(filepath,'rb') 讀二進制文件
binfile=open(filepath,'wb') 寫二進制文件
那么和binfile=open(filepath,'r')的結果到底有何不同呢?
不同之處有兩個地方:
第一,使用'r'的時候如果碰到'0x1A',就會視為文件結束,這就是EOF。使用'rb'則不存在這個問題。即,如果你用二進制寫入再用文本讀出的話,如果其中存在'0X1A',就只會讀出文件的一部分。使用'rb'的時候會一直讀到文件末尾。
第二,對於字符串x='abc\ndef',我們可用len(x)得到它的長度為7,\n我們稱之為換行符,實際上是'0X0A'。當我們用'w'即文本方式寫的時候,在windows平台上會自動將'0X0A'變成兩個字符'0X0D','0X0A',即文件長度實際上變成8.。當用'r'文本方式讀取時,又自動的轉換成原來的換行符。如果換成'wb'二進制方式來寫的話,則會保持一個字符不變,讀取時也是原樣讀取。所以如果用文本方式寫入,用二進制方式讀取的話,就要考慮這多出的一個字節了。'0X0D'又稱回車符。linux下不會變。因為linux只使用'0X0A'來表示換行。
附加:
# native byteorder
buffer = struct.pack( " ihb " , 1 , 2 , 3 )
print repr(buffer)
print struct.unpack( " ihb " , buffer)
# data from a sequence, network byteorder
data = [ 1 , 2 , 3 ]
buffer = struct.pack( " !ihb " , * data)
print repr(buffer)
print struct.unpack( " !ihb " , buffer)
Output:
'\x01\x00\x00\x00\x02\x00\x03'
(1, 2, 3)
'\x00\x00\x00\x01\x00\x02\x03'
(1, 2, 3)
首先將參數1,2,3打包,打包前1,2,3明顯屬於python數據類型中的integer,pack后就變成了C結構的二進制串,轉成 python的string類型來顯示就是 '\x01\x00\x00\x00\x02\x00\x03'。由於本機是小端('little- endian',關於大端和小端的區別請參照這里,故而高位放在低地址段。i 代表C struct中的int類型,故而本機占4位,1則表示為01000000;h 代表C struct中的short類型,占2位,故表示為0200;同理b 代表C struct中的signed char類型,占1位,故而表示為03。
其他結構的轉換也類似,有些特別的可以參考Manual。
在Format string 的首位,有一個可選字符來決定大端和小端,列表如下:
@ | native | native |
= | native | standard |
< | little-endian | standard |
> | big-endian | standard |
! | network (= big-endian) | standard |
如果沒有附加,默認為@,即使用本機的字符順序(大端or小端),對於C結構的大小和內存中的對齊方式也是與本機相一致的(native),比如有的機器integer為2位而有的機器則為四位;有的機器內存對其位四位對齊,有的則是n位對齊(n未知,我也不知道多少)。
還有一個標准的選項,被描述為:如果使用標准的,則任何類型都無內存對齊。
比如剛才的小程序的后半部分,使用的format string中首位為!,即為大端模式標准對齊方式,故而輸出的為'\x00\x00\x00\x01\x00\x02\x03',其中高位自己就被放在內存的高地址位了。