Linux下nohup日志輸出過大問題解決方案


轉載自:http://blog.csdn.net/shawnhu007/article/details/50971084

 最近在一hadoop測試集群運行一個spark streaming程序,然后使用nohup ./execute.sh & 執行讓程序后台運行,才幾天日志就上G了,如果有問題想要查看日志,顯然打開文件是一件很麻煩的事,於是我想辦法通過減小文件大小:

  1、nohup命令解釋:

  a、語法:nohup [command] [args] [&]

  b、說明:nohup 命令運行由 Command 參數和任何相關的 Arg 參數指定的命令,忽略所有掛斷信號。在注銷后使用 nohup 命令運行后台中的程序。要運行后台中的 nohup 命令,添加 & ( 表示“and”的符號)到命令的尾部,如果不指定重定向,則日志默認輸出到當前目錄下nohup.out文件中,

  一般提交如 :nohup ./execute.sh &  這樣日志或輸出當前運行目下.nohup.out中

  重定向: nohup ./execute.sh >  /home/xxx/log.log 2>&1 & :這樣日志會重定向到指定目錄下

 2 、切分nohup.out,同時不讓它無限增長

 我這里用的一般提交命令:nohup ./execute.sh &,這樣在當前目錄就有nohup.out文件了,這時候可以想辦法定時將nohup.out切分成,多個小文件,但同時又要使nohup.out不會無限增長下去(一般情況下是程序不能中斷的):

    a、每天(根據需要設置時間),定時切分前一天的日志,(比如每天大概1g,那么可以么次切分100m左右),

    b、切分完后將nohup.out文件情況,保證新的輸出日志會不停的繼續輸出到nohup.out

  以上在shell中

  current_date=`date -d "-1 day" "+%Y%m%d"`

   split  -b 65535000 -d -a 4  nohup.out  ./log/log_${current_date}_   這里使用split命令,將nouhup文件按指定大小切分(65535000b 大概60多M吧,可以自定義大小 ),並分成指定格式(-d -a 4以4位數字形式為后綴以從0000開始,具體可以百度split命令用法),最終輸出格式為log_20160610_0001

  cat /dev/null > nohup.out  (該命令會瞬間清空nohup.out文件,后續會繼續寫該文件),將日志定向到/dev/null中

使用重定向輸出一樣可以這樣,只不過換成重定向的文件名即可

將這些命令定義在一個shell文件每天定時運行即可,這樣每天日志會被分成若干份,排查也方便,而且如果日志積壓過大的話。可以定時刪除歷史的日志,保留近幾天即可

整體代碼如下:

 
        
  1. #!/bin/sh
  2. #################啟動日志切割服務#################
  3. this_path=$(cd `dirname $0`;pwd)  
  4.   
  5. cd $this_path  
  6. echo $this_path  
  7. current_date=`date -d "-1 day" "+%Y%m%d"`  
  8. echo $current_date  
  9. split -65535000 --4 /home/.../nohup.out   /home/.../log/log_${current_date}_  
  10.   
  11. cat /dev/null > nohup.out 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM