需求描述:
今天看了一個系統的臨時文件,有5.6G的大小,這個文件也沒有用了,想要將大部分的文件都刪除掉.
在此記錄下刪除的過程.刪除前n行的記錄.
操作過程:
對於數據量比較大的情況(本例5800萬行)
1.通過tail命令,將文件尾部的n行數據重定向到新的文件中
tail -n 30000 out.tmp > out.tmp.bak
2.然后刪除舊的文件,將新的文件修改為原名字
rm out.tmp mv out.tmp.bak out.tmp
備注:這樣的話文件out.tmp尾部的30000行就保存下來,之前的行就刪除掉了.在我的測試環境中,out.tmp中的記錄大概5800萬+
對於數據比較少的情況
1.查看文件中數據,確定要刪除的數據
將第5行后面的都刪除掉,也是通過-n來重定向
2.tail -n +k來實現該功能
[root@testvm01 ~]# wc -l install.log 249 install.log [root@testvm01 ~]# tail -n +5 install.log > install.log.tmp #將第5行之后的內容重定向到另外一個臨時文件中 [root@testvm01 ~]# rm -f install.log [root@testvm01 ~]# mv install.log.tmp install.log [root@testvm01 ~]# head install.log #第5行之前的都已經不在了,采用了另外的方法實現了刪除的功能. Installing tzdata-2014g-1.el6.noarch Installing basesystem-10.0-4.el6.noarch Installing ncurses-base-5.7-3.20090208.el6.x86_64 Installing glibc-common-2.12-1.149.el6.x86_64 Installing nss-softokn-freebl-3.14.3-17.el6.x86_64 Installing glibc-2.12-1.149.el6.x86_64 Installing ncurses-libs-5.7-3.20090208.el6.x86_64 Installing bash-4.1.2-29.el6.x86_64 Installing libattr-2.4.44-7.el6.x86_64 Installing libcap-2.16-5.5.el6.x86_64 [root@testvm01 ~]# wc -l install.log 245 install.log
小結:同樣可以利用head命令來刪除文件的尾部的n行.
在數據挖掘中我們經常會增量更新訓練日志，需要刪除前n行的過期數據，直接用sed命令比較慢：
tail -n +3 old_file > new_file
mv new_file old_file
這樣就刪除了前2行，速度要比sed命令快