一.在Linux中for和cat遍歷文件內容出現no space


以前使用for var in file方式逐行讀取文件內容的時候,都沒有出現問題,但是今天使用如下代碼,會出現“no space” ,目標數據文件內容為6.8M,

# 寫入臨時文件,第一行不能寫入
fillTempFile(){
  # 先刪除臨時文件,再創建
  rm -rf $fullTempFileName
  touch $fullTempFileName
  i=0
  for line in $(cat $targetFilePath$1)
  do    
      # 去掉第一行數據
      if [ $i -gt 0 ]
      then
          # 解析從第4位開始的數據,即為當前備注的數據行數
          echo $line >> $fullTempFileName
      fi
      # 遍歷完一行之后,行號加1
      let i+=1
  done
}

造成這個問題的原因是:我使用的是AIX系統(/bin/ksh  ksh88的棧系統很低效)。當使用for i in $targetFile的時候,系統會讀取整個文件到棧系統中,造成當前系統內存溢出。

但是另外一個AIX系統的另外一個版本ksh93使用的是另外一種很高效的庫,也就不會發生這個問題。其他一些shell,比如bash,在處理大數據量文件的時候更加高效。

但是ksh88是AIX系統的默認版本,系統工具、SMIT等都是使用ksh88。

解決這個問題的辦法是避免使用冗余的方式,而是逐步加載,如下:

# 寫入臨時文件,第一行不能寫入
fillTempFile(){
  # 先刪除臨時文件,再創建
  rm -rf $fullTempFileName
  touch $fullTempFileName
  i=0
  cat $targetFilePath$1 | while read line
  do    
      # 去掉第一行數據
      if [ $i -gt 0 ]
      then
          # 解析從第4位開始的數據,即為當前備注的數據行數
          echo "{$line}" >> $fullTempFileName
      fi
      # 遍歷完一行之后,行號加1
      let i+=1
  done
}

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM