python 讀取二進制數據到可變緩沖區中

想直接讀取二進制數據到一個可變緩沖區中，而不需要做任何的中間復制操作。或者你想原地修改數據並將它寫回到一個文件中去。

為了讀取數據到一個可變數組中，使用文件對象的readinto() 方法。比如

import os.path
def read_into_buffer(filename):
buf = bytearray(os.path.getsize(filename))
with open(filename, 'rb') as f:
f.readinto(buf)
return buf

 下面是一個演示這個函數使用方法的例子：

>>> with open('sample.bin', 'wb') as f:
... f.write(b'Hello World')
...
>>> buf = read_into_buffer('sample.bin')
>>> buf
bytearray(b'Hello World')
>>> buf[0:5] = b'Hallo'
>>> buf
bytearray(b'Hallo World')
>>> with open('newsample.bin', 'wb') as f:
... f.write(buf)
...
11
>>>

 

文件對象的readinto() 方法能被用來為預先分配內存的數組填充數據，甚至包括由array 模塊或numpy 庫創建的數組。和普通read() 方法不同的是， readinto() 填充已存在的緩沖區而不是為新對象重新分配內存再返回它們。因此，你可以使用它來避免大量的內存分配操作。比如，如果你讀取一個由相同大小的記錄組成的二進制文件時，你可以像下面這樣寫：

record_size = 32 # Size of each record (adjust value)
buf = bytearray(record_size)
with open('somefile', 'rb') as f:
while True:
n = f.readinto(buf)
if n < record_size:
break
# Use the contents of buf

 

另外有一個有趣特性就是memoryview ，它可以通過零復制的方式對已存在的緩沖區執行切片操作，甚至還能修改它的內容。比如：

>>> buf
bytearray(b'Hello World')
>>> m1 = memoryview(buf)
>>> m2 = m1[-5:]
>>> m2
<memory at 0x100681390>
>>> m2[:] = b'WORLD'
>>> buf
bytearray(b'Hello WORLD')
>>>

 

使用f.readinto() 時需要注意的是，你必須檢查它的返回值，也就是實際讀取的字節數。如果字節數小於緩沖區大小，表明數據被截斷或者被破壞了(比如你期望每次讀取指定數量的字節)。最后，留心觀察其他函數庫和模塊中和into 相關的函數(比如recv into() ，pack into() 等)。Python 的很多其他部分已經能支持直接的I/O 或數據訪問操作，這些操作可被用來填充或修改數組和緩沖區內容。