進行大文件的分片操作(split),合並(cat/copy)
- 由於工作的需要,當我們的系統產生了超過內存的日志文件時,當我們使用工具對文件進行讀取數據時,會直接報異常,無法進行讀取.所以我們要前置的對文件進行分片操作.split(linux命令)在windows中最好前置下載個cmder進行操作.
- 進入cmder,切換到需要分割的文件地址
- 可以看到這個文件有1.8g;這個文件如果要直接使用文件打開的話,直接就會報錯.
- 使用split 命令,按照每個文件51200kb的大小進行解析,默認前綴為"wx.log.","-d"代表后面跟的數字00開始自增
split -b 51200k -d wx.log wx.log.
split [-b ][-C ][-][-l][-d][要切割的文件][輸出文件名前綴][-a ]
-b<字節>：指定按多少字節進行拆分，也可以指定 K、M、G、T 等單位。
-<行數>或-l<行數>：指定每多少行要拆分成一個文件。
輸出文件名前綴：設置拆分后的文件的名稱前綴，split 會自動在前綴后加上編號，默認從 aa 開始。
-a<后綴長度>：默認的后綴長度是 2，也就是按 aa、ab、ac 這樣的格式依次編號。
-d : 后綴使用數字自增
- 分割好了,就可以進行單文件讀取了.
- 當我們想要合並數據的時候,由於前綴都一樣,只是后綴不一樣的了.
- 我們可以使用cat(linux)或copy(windows)來進行合並
cat wx.log.* > wx_new.log
copy wx.log.* wx_new.log
- 最后校驗一下文件的完整性是否一致,可以看到md5值是相同的.
md5sum [文件名]
