linux統計大文件行數的命令效率大對比


[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:33:49]

517 $ time awk '{print NR}' click.log_2017-03-17T04|tail -n1

116570

real    0m2.535s

user    0m1.499s

sys    0m1.093s

[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:34:11]

518 $ time wc -l click.log_2017-03-17T04

116570 click.log_2017-03-17T04

real    0m19.201s

user    0m17.640s

sys    0m0.078s

[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:34:38]

519 $ time awk 'END{print NR}' click.log_2017-03-17T04

116570

real    0m0.375s

user    0m0.343s

sys    0m0.031s

[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:35:22]

520 $ time grep -n "" click.log_2017-03-17T04|awk -F: '{print '}|tail -n1

grep: bad regex '': empty (sub)expression

real    0m0.084s

user    0m0.030s

sys    0m0.030s

[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:36:15]

521 $ time grep -n "" click.log_2017-03-17T04|awk -F: '{print }'|tail -n1

grep: bad regex '': empty (sub)expression

real    0m0.082s

user    0m0.030s

sys    0m0.015s

[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:36:25]

522 $ time sed -n '$=' click.log_2017-03-17T04

116570

real    0m0.885s

user    0m0.546s

sys    0m0.046s

 

總結 : time awk 'END{print NR}' click.log_2017-03-17T04
 執行最快,是 wc -l file 的幾十倍的效率!!

還有  cat test1.sh |wc -l
這種就不要測試了,會把CPU用壞的吧!

time grep -n "" click.log_2017-03-17T04|awk -F: '{print }'|tail -n1

這個是人家博客寫錯了,正確的是:

time grep -n "" click.log_2017-03-17T04|awk -F: '{print $1}'|tail -n1

表示只是截取行號

上述grep 命令要求其支持""作為查找模式,windows上的busybox 1.6版的grep不支持該功能。linux支持:

[root@mc-click@/home/share@11:00:07]

2019 $ time awk 'END{print NR}' click_oom

250

real    0m0.013s

user    0m0.000s

sys    0m0.001s

[root@mc-click@/home/share@11:00:36]

2020 $ time grep -n "" click_oom |awk -F: '{print $1}'|tail -n1

250

real    0m0.004s

user    0m0.004s

sys    0m0.003s



作者:五大RobertWu伍洋
鏈接:https://www.jianshu.com/p/b18a1b40ea05
來源:簡書
簡書著作權歸作者所有,任何形式的轉載都請聯系作者獲得授權並注明出處。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM