對於大文本文件(GB級)進行文件行數統計,在 Linux 下可以使用 wc -l
命令,但如果文件特別大,此命令將會耗費很長的時間,所以我用 Go 實現了一個文件行數統計工具。
開源地址:https://github.com/stulzq/go-linecount
性能測試
微軟雲虛擬機 4 核 16GB 內存
系統: Ubuntu 18.04
文件大小: 11GB
文件行數: 500 million
第一次花費時間: 34 秒
第二次花費時間: 11 秒
使用方法
下載:https://github.com/stulzq/go-linecount/releases
執行命令:
glc -f <文件路徑>