今天有個同學問我一個問題: 用shell命令將test.log文件中第3-5行的第2個”filter”替換成”haha”
其實我對各種shell命令也不是特別熟,於是又現學了一個強大的sed命令。
sed簡單的介紹:sed命令可實現刪除(delete)、改變(change)、添加(append)、插入(insert)、合並、交換文件中的資料行,或讀入其它檔的資料到文件中,也可替換(substuite)它們其中的字串、或轉換(tranfer)其中的字母等等。例如將文件中的連續空白行刪成一行、"local"字串替換成"remote"、"t"字母轉換成"T"、將第10行資料與第11資料合並等。
另外有兩點比較重要的(1)sed總是以行對輸入進行處理;(2)sed處理的不是原文件而是原文件的拷貝。
sed 編輯指令的格式如下 :
sed option [address1[,address2]]function[argument]
其中 , option比較常用的有-e,-i,-f,-n他們的含義如下:
-e:執行命令行中的指令,例如:sed -e 'command' file(s)
-f:執行一個sed腳本文件中的指令,例如: sed -f scriptfile file(s)
-i:與-e的區別在於:當使用-e時,sed執行指令並不會修改原輸入文件的內容,只會顯示在bash中,而使用-i選項時,sed執行的指令會直接修改原輸入文件。
-n:讀取下一行到pattern space。 這個選項具體可以參考該文章:《linux:sed高級命令之n、N》 http://www.cnblogs.com/fhefh/archive/2011/11/14/2248942.html
位址參數 address1 、address2 為行數或 regular expression 字串 , 表示所執行編輯的資料行; 函數參數 function[argument] 為 sed 的內定函數 , 表示執行的編輯動作。
下面兩小節 , 將仔細介紹位址參數的表示法與有哪些函數參數供選擇。
(1)位址(address)參數的表示法
實際上 , 位址參數表示法只是將要編輯的資料行 , 用它們的行數或其中的字串來代替表示它們。下面舉幾個例子說明 :
刪除檔內第 10 行資料 , 則指令為 10d。(d表示刪除function,下面的例子中的也是一樣)
刪除含有 "man" 字串的資料行時 , 則指令為 /man/d。
刪除檔內第 10 行到第 200 行資料, 則指令為 10,200d。
刪除檔內第 10 行到含 "man" 字串的資料行 , 則指令為 10,/man/d。
接下來 , 以位址參數的內容與其個數兩點 , 完整說明指令中位址參數的表示法(同樣也以函數參數 d 為例)。
位址參數的內容:
位址為十進位數字 : 此數字表示行數。當指令執行時 , 將對符合此行數的資料執行函數參數指示的編輯動作。例如 ,
刪除資料檔中的第 15 行資料 , 則指令為 15d。其余類推 ,如刪除輸入文件中的第 m 行, 則指令為 md 。
位址為 regular expression時:
當資料行中有符合 regular expression 所表示的字串時 , 則執行函數參數指示的編輯動作。
另外 , 在regular expression 前後必須加上 "/"。例如指令為 /t.*t/d , 表示刪除所有含兩 "t" 字母的資料行。其中 , "."
表示任意字元; "*" 表示其前字元可重任意次 , 它們結合 ".*" 表示兩 "t" 字母間的任意字串。
位址參數的個數 : 在指令中 , 當沒有位址參數時 , 表示全部資料行執行函數參數所指示的編輯動作; 當只有一位址
參數時 , 表示只有符合位址的資料行才編輯 ; 當有兩個位址參數 , 如 address1,address2 時 , 表示對資料區執行
編輯 , address1 代表起始資料行 , address2 代表結束資料行。
(2)有哪些函數(function)參數
下面介紹所有 sed 的函數參數的功能。
= 印出資料行數( line number )。
a 添加使用者輸入的資料。
b label 將執行的指令跳至由 : 建立的參考位置。
c 以使用者輸入的資料取代資料。
d 刪除資料。
D 刪除 pattern space 內第一個 newline 字母 前的資料。
g 拷貝資料從 hold space。
G 添加資料從 hold space 至 pattern space 。
h 拷貝資料從 pattern space 至 hold space 。
H 添加資料從 pattern space 至 hold space 。
l 印出 l 資料中的 nonprinting character 用 ASCII 碼。
i 插入添加使用者輸入的資料行。
n 讀入下一筆資料。
N 添加下一筆資料到 pattern space。
p 印出資料。
P 印出 pattern space 內第一個 newline 字母 前的資料。
q 跳出 sed 編輯。
r 讀入它檔內容。
s 替換字串。
w 寫資料到它檔內。
x 交換 hold space 與 pattern space 內容。
y 轉換(transform)字元。
雖然 , sed 只有上表所述幾個擁有基本編輯功能的函數 , 但由指令中位址參數和指令與指令間的配合 , 也能使
sed 完成大部份的編輯任務。
下面是一些實例說明:
刪除:d命令
$ sed '2d' example-----刪除example文件的第二行。
$ sed '2,$d' example-----刪除example文件的第二行到末尾所有行。
$ sed '$d' example-----刪除example文件的最后一行。
$ sed '/test/'d example-----刪除example文件所有包含test的行。
替換:s命令
$ sed 's/test/mytest/g' example-----在整行范圍內把test替換為mytest。如果沒有g標記,則只有每行第一個匹配的test被替換成mytest。
$ sed -n 's/^test/mytest/p' example-----(-n)選項和p標志一起使用表示只打印那些發生替換的行。也就是說,如果某一行開頭的test被替換成mytest,就打印它。
$ sed 's/^192.168.0.1/&localhost/' example-----&符號表示替換換字符串中被找到的部份。所有以192.168.0.1開頭的行都會被替換成它自已加 localhost,變成192.168.0.1localhost。
$ sed -n 's/\(love\)able/\1rs/p' example-----love被標記為1,所有loveable會被替換成lovers,而且替換的行會被打印出來。
$ sed 's#10#100#g' example-----不論什么字符,緊跟着s命令的都被認為是新的分隔符,所以,“#”在這里是分隔符,代替了默認的“/”分隔符。表示把所有10替換成100。
選定行的范圍:逗號
$ sed -n '/test/,/check/p' example-----所有在模板test和check所確定的范圍內的行都被打印。
$ sed -n '5,/^test/p' example-----打印從第五行開始到第一個包含以test開始的行之間的所有行。
$ sed '/test/,/check/s/$/sed test/' example-----對於模板test和west之間的行,每行的末尾用字符串sed test替換。
多點編輯:e命令
$ sed -e '1,5d' -e 's/test/check/' example-----(-e)選項允許在同一行里執行多條命令。如例子所示,第一條命令刪除1至5行,第二條命令用check替換test。命令的執 行順序對結果有影響。如果兩個命令都是替換命令,那么第一個替換命令將影響第二個替換命令的結果。
$ sed --expression='s/test/check/' --expression='/love/d' example-----一個比-e更好的命令是--expression。它能給sed表達式賦值。
從文件讀入:r命令
$ sed '/test/r file' example-----file里的內容被讀進來,顯示在與test匹配的行后面,如果匹配多行,則file的內容將顯示在所有匹配行的下面。
寫入文件:w命令
$ sed -n '/test/w file' example-----在example中所有包含test的行都被寫入file里。
追加命令:a命令
$ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test開頭的行后面,sed要求命令a后面有一個反斜杠。
插入:i命令
$ sed '/test/i\\new line-------------------------' example
如果test被匹配,則把反斜杠后面的文本插入到匹配行的前面。
下一個:n命令
$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配,則移動到匹配行的下一行,替換這一行的aa,變為bb,並打印該行,然后繼續。
變形:y命令
$ sed '1,10y/abcde/ABCDE/' example-----把1--10行內所有abcde轉變為大寫,注意,正則表達式元字符不能使用這個命令。
退出:q命令
$ sed '10q' example-----打印完第10行后,退出sed。
保持和獲取:h命令和G命令
$ sed -e '/test/h' -e '$G example-----在sed處理文件的時候,每一行都被保存在一個叫模式空間的臨時緩沖區中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 打印在屏幕上。接着模式空間被清空,並存入新的一行等待處理。在這個例子里,匹配test的行被找到后,將存入模式空間,h命令將其復制並存入一個稱為保 持緩存區的特殊緩沖區內。第二條語句的意思是,當到達最后一行后,G命令取出保持緩沖區的行,然后把它放回模式空間中,且追加到現在已經存在於模式空間中 的行的末尾。在這個例子中就是追加到最后一行。簡單來說,任何包含test的行都被復制並追加到該文件的末尾。
保持和互換:h命令和x命令
$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩沖區的內容。也就是把包含test與check的行互換。
還有更多實例可以該文章參考:《收集整理比較全 shell sed 命令與實例教程》http://www.linuxde.net/2012/02/7390.html
最后,回到最初提到的那個問題:用shell命令將test.log文件中第3-5行的第2個”filter”替換成”haha”
學習過上面的之后很容易就知道一行命令就能解決:
sed -i '3,5s/filter/haha/2' test.log