python處理大文件——文件流處理

最近處理一份1000G+的大文件，直接loading進內存不可能，只能分片讀取。文件介紹如下：

該文件是一份壓縮的比對后文件（sam文件），該文件由很多細小的結構單元組成，一個結構如下：

兩種方法：

1、用open（[buffer]）的方法；

2、根據文件內容的結構快讀取；

由於該文件有自己的結構，如果直接用open的buffer的方法，很粗暴地根據一次性讀取一定大小的文件內容的方法，容易把文件讀碎了。

根據文件的結構特點，用流的方法讀取處理。編碼如下：