Python使用struct處理二進制(pack和unpack用法)


這篇文章寫的很好,所以無恥的轉了。。

有的時候需要用python處理二進制數據,比如,存取文件,socket操作時.這時候,可以使用python的struct模塊來完成.可以用 struct來處理c語言中的結構體.

struct模塊中最重要的三個函數是pack(), unpack(), calcsize()

#  按照給定的格式(fmt),把數據封裝成字符串(實際上是類似於c結構體的字節流)
pack(fmt, v1, v2, ...) 
 
# 按照給定的格式(fmt)解析字節流string,返回解析出來的tuple
unpack(fmt, string)       
 
# 計算給定的格式(fmt)占用多少字節的內存
calcsize(fmt)

上述fmt中,支持的格式為:

FORMAT C TYPE PYTHON TYPE STANDARD SIZE NOTES
x pad byte no value - -
c char string of length 1 1 -
b signed char integer 1 (3)
B unsigned char integer 1 (3)
? _Bool bool 1 (1)
h short integer 2 (3)
H unsigned short integer 2 (3)
i int integer 4 (3)
I unsigned int integer 4 (3)
l long integer 4 (3) -
L unsigned long integer 4 (3)
q long long integer 8 (2), (3)
Q unsigned long long integer 8 (2), (3)
f float float 4 (4)
d double float 8 (4)
s char[] string - -
p char[] string - -
P void * integer - (5), (3)

使用方法是放在fmt的第一個位置,就像’@5s6sif’

例子1:

結構體如下:

struct  Header
{
    unsigned short  id;
    char[4] tag;
    unsigned int  version;
    unsigned int  count;
}

通過socket.recv接收到了一個上面的結構體數據,存在字符串s中,現在需要把它解析出來,可以使用unpack()函數:

import  struct
id, tag, version, count =  struct.unpack("!H4s2I", s)

上面的格式字符串中,!表示我們要使用網絡字節順序解析,因為我們的數據是從網絡中接收到的,在網絡上傳送的時候它是網絡字節順序的.后面的H表示 一個unsigned short的id,4s表示4字節長的字符串,2I表示有兩個unsigned int類型的數據.

就通過一個unpack,現在id, tag, version, count里已經保存好我們的信息了.

同樣,也可以很方便的把本地數據再pack成struct格式:

ss =  struct.pack("!H4s2I", id, tag, version, count);

pack函數就把id, tag, version, count按照指定的格式轉換成了結構體Header,ss現在是一個字符串(實際上是類似於c結構體的字節流),可以通過 socket.send(ss)把這個字符串發送出去。

例子2:

import  struct
 
a=12.34

# 將a變為二進制
bytes=struct.pack('i',a)

此時bytes就是一個string字符串,字符串按字節同a的二進制存儲內容相同。

再進行反操作,現有二進制數據bytes,(其實就是字符串),將它反過來轉換成python的數據類型:

# 注意,unpack返回的是tuple !!
a,=struct.unpack('i',bytes)

如果是由多個數據構成的,可以這樣:

a='hello'
b='world!'
c=2
d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)
此時的bytes就是二進制形式的數據了,可以直接寫入文件比如 binfile.write(bytes)

然后,當我們需要時可以再讀出來,bytes=binfile.read()

再通過struct.unpack()解碼成python變量:

a,b,c,d=struct.unpack('5s6sif',bytes)

’5s6sif’這個叫做fmt,就是格式化字符串,由數字加字符構成,5s表示占5個字符的字符串,2i,表示2個整數等等,下面是可用的字符及類型,ctype表示可以與python中的類型一一對應。

注意:二進制文件處理時會碰到的問題

我們使用處理二進制文件時,需要用如下方法:

binfile=open(filepath,'rb')     #讀二進制文件
 
binfile=open(filepath,'wb')    #寫二進制文件

那么和binfile=open(filepath,’r')的結果到底有何不同呢?

不同之處有兩個地方:

第一,使用’r'的時候如果碰到’0x1A’,就會視為文件結束,這就是EOF。使用’rb’則不存在這個問題。即,如果你用二進制寫入再用文本讀出的話,如果其中存在’0X1A’,就只會讀出文件的一部分。使用’rb’的時候會一直讀到文件末尾。

第二,對於字符串x=’abc\ndef’,我們可用len(x)得到它的長度為7,\n我們稱之為換行符,實際上是’0X0A’。當我們用’w'即文本方式寫的時候,在windows平台上會自動將’0X0A’變成兩個字符’0X0D’,’0X0A’,即文件長度實際上變成8.。當用’r'文本方式讀取時,又自動的轉換成原來的換行符。如果換成’wb’二進制方式來寫的話,則會保持一個字符不變,讀取時也是原樣讀取。所以如果用文本方式寫入,用二進制方式讀取的話,就要考慮這多出的一個字節了。’0X0D’又稱回車符。linux下不會變。因為linux只使用’0X0A’來表示換行。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM