sed是一種流編輯器,它是文本處理中非常中的工具,能夠完美的配合正則表達式使用,功能不同凡響。處理時,把當前處理的行存儲在臨時緩沖區中,稱為“模式空間”(pattern space),接着用sed命令處理緩沖區中的內容,處理完成后,把緩沖區的內容送往屏幕。接着處理下一行,這樣不斷重復,直到文件末尾。文件內容並沒有 改變,除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件;簡化對文件的反復操作;編寫轉換程序等。
sed的選項、命令、替換標記
命令格式
sed [options] 'command' file(s) sed [options] -f scriptfile file(s)
常用選項:
-n∶使用安靜(silent)模式。在一般 sed 的用法中,所有來自 STDIN的資料一般都會被列出到螢幕上。但如果加上 -n 參數后,則只有經過sed 特殊處理的那一行(或者動作)才會被列出來。
-e∶直接在指令列模式上進行 sed 的動作編輯;
-f∶直接將 sed 的動作寫在一個檔案內, -f filename 則可以執行 filename 內的sed 動作;
-r∶sed 的動作支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)
-i∶直接修改讀取的檔案內容,而不是由螢幕輸出。
常用命令:
a ∶新增, a 的后面可以接字符串,而這些字符串會在目前的下一行出現。 c ∶取代, c 的后面可以接字符串,這些字符串可以取代 n1,n2 之間的行。 d ∶刪除,后面不接任何東西; i ∶插入, 與a只有一點不同,增加的字符串會在目前的上一行出現; p ∶列印,亦即將某個選擇的資料印出。在使用p的時候一般會加上-n參數。 s ∶取代,可以直接進行取代的工作。
基本用法
- d∶刪除,后面不接任何東西;
刪除某行 $ sed '1d' filename 刪除第一行 $ sed '$ d' filename 刪除最后一行 $ sed '1,2d' filename 刪除第一行到第二行 $ sed '2,$ d' filename 刪除第二行到最后一行
- p∶列印,亦即將某個選擇的資料印出。在使用p的時候一般會加上-n參數。
顯示某行 $ sed -n '1p' filename 顯示第一行 $ sed -n '$ p' filename 顯示最后一行 $ sed -n '1,2p' filename 顯示第一行到第二行 $ sed -n '2,$ p' filename 顯示第二行到最后一行 使用模式進行查詢 $ sed -n '/world/p' filename 查詢包括關鍵字world所在所有行 $ sed -n '/\$ /p' filename 查詢包括關鍵字$ 所在所有行,使用反斜線\屏蔽特殊含義
- a∶新增, a 的后面可以接字符串,而這些字符串會在目前的下一行出現。
- i ∶插入, 與a只有一點不同,增加的字符串會在目前的上一行出現;
[root@localhost ~]# cat filename Hello! world! end [root@localhost ~]# sed '1a people' filename 第一行后增加字符串"people" Hello! people world! end [root@localhost ~]# sed '1,3a people' filename 第一行到第三行后增加字符串"people" Hello! people world! people end people [root@localhost ~]# sed '1i people\nperson' filename 第一行前增加多行,使用換行符\n people person Hello! world! end
- c∶取代, c 的后面可以接字符串,這些字符串可以取代 n1,n2 之間的行。
[root@localhost ~]# cat filename Hello! world! end [root@localhost ~]# sed '1c Hi' filename Hi world! end [root@localhost ~]# sed '1,2c Hi' filename Hi end
- s ∶取代,可以直接進行取代的工作。
格式:sed 's/要替換的字符串/新的字符串/g' 修改的文件 [root@localhost ~]# cat filename Hello! world! end [root@localhost ~]# sed -i 's/Hello!/start/g' filename 把Hello!替換為start [root@localhost ~]# cat filename start world! end [root@localhost ~]# cat filename start world! end [root@localhost ~]# sed -i '$a bye' filename 在最后一行后面新加bye($代表最后一樣,a表示在當前行下一面添加,bye是新加內容,中間有沒有空格都行) [root@localhost ~]# cat filename start world! end bye
awk
awk其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。實際上 AWK 的確擁有自己的語言: AWK 程序設計語言 , 三位創建者已將它正式定義為“樣式掃描和處理語言”。它允許您創建簡短的程序,這些程序讀取輸入文件、為數據排序、處理數據、對輸入執行計算以及生成報表,還有無數其他的功能。
awk 是一種很棒的語言,它適合文本處理和報表生成,其語法較為常見,借鑒了某些語言的一些精華,如 C 語言等。在 linux 系統日常處理工作中,發揮很重要的作用,掌握了 awk將會使你的工作變的高大上。 awk 是三劍客的老大,利劍出鞘,必會不同凡響。
1、首先我們看一下常用的cut命令的基本使用方法,cut英文意思是切,它的功能和和awk基本相同,唯一不同的是awk可以說是cut的plus版本(但不是一個廠家)。
cut -d(指定以什么為分割符) -f(指定列) 第一列 #cut -d ‘ ’ -f 5
cut無法切割以空格為分割符的數據。

2、awk的基本常用寫法
awk ‘條件一{動作一}條件二{動作二} ’ 文件
當然我們也可用使用管道符|awk。。。。。
3、awk的基本寫法
#我們使用printf的話最后必須要加上\n換號符號,$數字是表示第幾列
df -h | awk '{printf $1 "\t" $5 "\n"}'
#如果使用print的話就不需要再多寫一個\n了
df -h | awk '{print $1 "\t" $5}'
#注意,為了不想讓兩行數據黏在一起,所以中間需要用“\t”空格符隔開。最外面的必須是單引號,而里面的\t和\n必須使用雙引號。

4、實例
我們想試試判斷linux的根分區的使用情況,或者是某個分區的使用情況,我們怎么判斷呢。
#df -h | grep sda3 | awk '{print $5}' | cut -d '%' -f 1
解釋:
df -h | grep sda3是我的根分區,awk抓取第五列,也就是拿到6%這個數字,但是不想要百分號,那我們在用cut切一下,就OK了

5、BEGIN(實際上就是在打印結果的開始打印里面動作的一句話)
#df -h | grep sda3 | awk 'BEGIN{print "This is the use of the root partition"}{print $5}' | cut -d '%' -f 1

BEGIN的關鍵用法。
#awk '{FS=":"}{print $1 "\t" $3}' /etc/passwd

#awk 'BEGIN{FS=":"}{print $1 "\t" $3}' /etc/passwd

關鍵:我們知道awk是每次提取的時候都是先讀取第一行后,才開始執行后面的動作語句,所以第一行沒有被處理。這個時候就需要使用BEGIN,這個時候它就會處理所有數據。
END的用法
有BEGIN當然就有END了
#awk 'END{print"END!!!"}{print $1 "\t" $3}' /etc/passwd
#和BEGIN的用法基本相同,只不過是在處理數據動作的最后加打印而已。

6、關系運算符
關系運算符 > 大於 < 小於 = 等於 #這里的等於就把結果都改成這等於后面的數值,如下圖 >= 大於等於 <= 小於等於

