linux 使用split分割大文件

１．分割 -- split命令

可以指定按行數分割和按字節大小分割兩種模式。

(1) 按行數分割

$ split -l 300 large_file.txt new_file_prefix

加上-d，使用數字后綴；加上--verbose，顯示分割進度：

$ split -l50000 -d large_file.txt part_ --verbose

(2) 按字節大小分割

$ split -b 10m large_file.log new_file_prefix

 

２．合並 -- cat命令

$ cat part_* > merge_file.txt

 

例如：

split -b 10m metadata.txt part_

cat part_* > metadata2.txt

diff metadata.txt metadata2.txt 可以看到還原了。