Shell正則表達式 & Grep正則表達式 & shell字符串處理


 

摘自:http://hi.baidu.com/door17/blog/item/7a049a396b6ed7f23b87ce2c.html

http://blog.csdn.net/myvilla/archive/2006/08/31/1150598.aspx

 

Shell正則表達式

一個正則表達式就是由普通字符(例如字符 a 到 z)以及特殊字符(稱為元字符)組成的文字模式。該模式描述在查找文字主體時待匹配的一個或多個字符串。正則表達式作為一個模板,將某個字符模式與所搜索的字符串進行匹配。

/
將下一個字符標記為一個特殊字符、或一個原義字符、或一個 后向引用、或一個八進制轉義符。例如,'n' 匹配字符 "n"。'/n' 匹配一個換行符。序列 '//' 匹配 "/" 而 "/(" 則匹配 "("。

^
匹配輸入字符串的開始位置。

$
匹配輸入字符串的結束位置。

*
匹配前面的子表達式零次或多次。例如,zo* 能匹配 "z" 以及 "zoo"。 * 等價於{0,}。

+
匹配前面的子表達式一次或多次。例如,'zo+' 能匹配 "zo" 以及 "zoo",但不能匹配 "z"。+ 等價於 {1,}。

?
匹配前面的子表達式零次或一次。例如,"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等價於 {0,1}。

{n}
n 是一個非負整數。匹配確定的 n 次。例如,'o{2}' 不能匹配 "Bob" 中的 'o',但是能匹配 "food" 中的兩個 o。

{n,}
n 是一個非負整數。至少匹配n 次。例如,'o{2,}' 不能匹配 "Bob" 中的 'o',但能匹配 "foooood" 中的所有 o。'o{1,}' 等價於 'o+'。'o{0,}' 則等價於 'o*'。

{n,m}
m 和 n 均為非負整數,其中n <= m。最少匹配 n 次且最多匹配 m 次。 "o{1,3}" 將匹配 "fooooood" 中的前三個 o。'o{0,1}' 等價於 'o?'。請注意在逗號和兩個數之間不能有空格。

?
當該字符緊跟在任何一個其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面時,匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串,而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如,對於字符串 "oooo",'o+?' 將匹配單個 "o",而 'o+' 將匹配所有 'o'。

.
匹配除 "/n" 之外的任何單個字符。要匹配包括 '/n' 在內的任何字符,請使用象 '[./n]' 的模式。

(pattern)
匹配pattern 並獲取這一匹配。所獲取的匹配可以從產生的 Matches 集合得到,在VBScript 中使用 SubMatches 集合,在Visual Basic Scripting Edition 中則使用 $0…$9 屬性。要匹配圓括號字符,請使用 '/(' 或 '/)'。

(?:pattern)
匹配 pattern 但不獲取匹配結果,也就是說這是一個非獲取匹配,不進行存儲供以后使用。這在使用 "或" 字符 (|) 來組合一個模式的各個部分是很有用。例如, 'industr(?:y|ies) 就是一個比 'industry|industries' 更簡略的表達式。

(?=pattern)
正向預查,在任何匹配 pattern 的字符串開始處匹配查找字符串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以后使用。例如, 'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ,但不能匹配 "Windows 3.1" 中的 "Windows"。預查不消耗字符,也就是說,在一個匹配發生后,在最后一次匹配之后立即開始下一次匹配的搜索,而不是從包含預查的字符之后開始。

(?!pattern)
負向預查,在任何不匹配Negative lookahead matches the search string at any point where a string not matching pattern 的字符串開始處匹配查找字符串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以后使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows",但不能匹配 "Windows 2000" 中的 "Windows"。預查不消耗字符,也就是說,在一個匹配發生后,在最后一次匹配之后立即開始下一次匹配的搜索,而不是從包含預查的字符之后開始。

x|y
匹配 x 或 y。例如,'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 則匹配 "zood" 或 "food"。

[xyz]
字符集合。匹配所包含的任意一個字符。例如, '[abc]' 可以匹配 "plain" 中的 'a'。

[^xyz]
負值字符集合。匹配未包含的任意字符。例如, '[^abc]' 可以匹配 "plain" 中的'p'。

[a-z]
字符范圍。匹配指定范圍內的任意字符。例如,'[a-z]' 可以匹配 'a' 到 'z' 范圍內的任意小寫字母字符。

[^a-z]
負值字符范圍。匹配任何不在指定范圍內的任意字符。例如,'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范圍內的任意字符。

/b
匹配一個單詞邊界,也就是指單詞和空格間的位置。例如, 'er/b' 可以匹配"never" 中的 'er',但不能匹配 "verb" 中的 'er'。

/B
匹配非單詞邊界。'er/B' 能匹配 "verb" 中的 'er',但不能匹配 "never" 中的 'er'。

/cx
匹配由x指明的控制字符。例如, /cM 匹配一個 Control-M 或回車符。 x 的值必須為 A-Z 或 a-z 之一。否則,將 c 視為一個原義的 'c' 字符。

/d
匹配一個數字字符。等價於 [0-9]。

/D
匹配一個非數字字符。等價於 [^0-9]。

/f
匹配一個換頁符。等價於 /x0c 和 /cL。

/n
匹配一個換行符。等價於 /x0a 和 /cJ。

/r
匹配一個回車符。等價於 /x0d 和 /cM。

/s
匹配任何空白字符,包括空格、制表符、換頁符等等。等價於 [ /f/n/r/t/v]。

/S
匹配任何非空白字符。等價於 [^ /f/n/r/t/v]。

/t
匹配一個制表符。等價於 /x09 和 /cI。

/v
匹配一個垂直制表符。等價於 /x0b 和 /cK。

/w
匹配包括下划線的任何單詞字符。等價於'[A-Za-z0-9_]'。

/W
匹配任何非單詞字符。等價於 '[^A-Za-z0-9_]'。

/xn
匹配 n,其中 n 為十六進制轉義值。十六進制轉義值必須為確定的兩個數字長。例如, '/x41' 匹配 "A"。'/x041' 則等價於 '/x04' & "1"。正則表達式中可以使用 ASCII 編碼。.

/num
匹配 num,其中 num 是一個正整數。對所獲取的匹配的引用。例如,'(.)/1' 匹配兩個連續的相同字符。

/n
標識一個八進制轉義值或一個后向引用。如果 /n 之前至少 n 個獲取的子表達式,則 n 為后向引用。否則,如果 n 為八進制數字 (0-7),則 n 為一個八進制轉義值。

/nm
標識一個八進制轉義值或一個后向引用。如果 /nm 之前至少有is preceded by at least nm 個獲取得子表達式,則 nm 為后向引用。如果 /nm 之前至少有 n 個獲取,則 n 為一個后跟文字 m 的后向引用。如果前面的條件都不滿足,若 n 和 m 均為八進制數字 (0-7),則 /nm 將匹配八進制轉義值 nm。

/nml
如果 n 為八進制數字 (0-3),且 m 和 l 均為八進制數字 (0-7),則匹配八進制轉義值 nml。

/un
匹配 n,其中 n 是一個用四個十六進制數字表示的 Unicode 字符。例如, /u00A9 匹配版權符號 (?)。

Grep正則表達式

要用好grep這個工具,其實就是要寫好正則表達式,所以這里不對grep的所有功能進行實例講解,只列幾個例子,講解一個正則表達式的寫法。

$ ls -l | grep '^a'
通過管道過濾ls -l輸出的內容,只顯示以a開頭的行。

$ grep 'test' d*
顯示所有以d開頭的文件中包含test的行。

$ grep 'test' aa bb cc
顯示在aa,bb,cc文件中匹配test的行。

$ grep '[a-z]/{5/}' aa
顯示所有包含每個字符串至少有5個連續小寫字符的字符串的行。

$ grep 'w/(es/)t.*/1' aa
如果west被匹配,則es就被存儲到內存中,並標記為1,然后搜索任意個字符(.*),這些字符后面緊跟着另外一個es(/1),找到就顯示該行。如果用egrep或grep -E,就不用"/"號進行轉義,直接寫成'w(es)t.*/1'就可以了。

grep正則表達式元字符集(基本集)
^
錨定行的開始 如:'^grep'匹配所有以grep開頭的行。

$
錨定行的結束 如:'grep$'匹配所有以grep結尾的行。

.
匹配一個非換行符的字符 如:'gr.p'匹配gr后接一個任意字符,然后是p。

*
匹配零個或多個先前字符 如:'*grep'匹配所有一個或多個空格后緊跟grep的行。 .*一起用代表任意字符。

[]
匹配一個指定范圍內的字符,如'[Gg]rep'匹配Grep和grep。

[^]
匹配一個不在指定范圍內的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭,緊跟rep的行。

/(../)
標記匹配字符,如'/(love/)',love被標記為1。

/<
錨定單詞的開始,如:'/
/>
錨定單詞的結束,如'grep/>'匹配包含以grep結尾的單詞的行。

x/{m/}
重復字符x,m次,如:'0/{5/}'匹配包含5個o的行。

x/{m,/}
重復字符x,至少m次,如:'o/{5,/}'匹配至少有5個o的行。

x/{m,n/}
重復字符x,至少m次,不多於n次,如:'o/{5,10/}'匹配5--10個o的行。

/w
匹配文字和數字字符,也就是[A-Za-z0-9],如:'G/w*p'匹配以G后跟零個或多個文字或數字字符,然后是p。

/W
/w的反置形式,匹配一個或多個非單詞字符,如點號句號等。

/b
單詞鎖定符,如: '/bgrepb/'只匹配grep。 

 

Shell字符串處理

  1. 構造字符串
    直接構造
    STR_ZERO=hello
    STR_FIRST="i am a string"
    STR_SECOND='success'

    重復多次
    #repeat the first parm($1) by $2 times
    strRepeat()
    {
    local x=$2
    if [ "$x" == "" ]; then
    x=0
    fi

    local STR_TEMP=""
    while [ $x -ge 1 ];
    do
    STR_TEMP=`printf "%s%s" "$STR_TEMP" "$1"`
    x=`expr $x - 1`
    done
    echo $STR_TEMP
    }

    舉例:
    STR_REPEAT=`strRepeat "$USER_NAME" 3`
    echo "repeat = $STR_REPEAT"

  2. 賦值與拷貝
    直接賦值
    與構造字符串一樣
    USER_NAME=terry

    從變量賦值
    ALIASE_NAME=$USER_NAME


  3. 聯接
    直接聯接兩個字符串
    STR_TEMP=`printf "%s%s" "$STR_ZERO" "$USER_NAME"`
    使用printf可以進行更復雜的聯接

  4. 求長
    求字符數(char)
    COUNT_CHAR=`echo "$STR_FIRST" | wc -m`
    echo $COUNT_CHAR

    求字節數(byte)
    COUNT_BYTE=`echo "$STR_FIRST" | wc -c`
    echo $COUNT_BYTE

    求字數(word)
    COUNT_WORD=`echo "$STR_FIRST" | wc -w`
    echo $COUNT_WORD

  5. 比較
    相等比較
    str1 = str2

    不等比較
    str1 != str2

    舉例:
    if [ "$USER_NAME" = "terry" ]; then
    echo "I am terry"
    fi

    小於比較
    # return 0 if the two string is equal, return 1 if $1 < $2, else 2 strCompare() { local x=0 if [ "$1" != "$2" ]; then x=2 local TEMP=`printf "%s/n%s" "$1" "$2"` local TEMP2=`(echo "$1"; echo "$2") | sort` if [ "$TEMP" = "$TEMP2" ]; then x=1 fi fi echo $x }
  6. 測試
    判空
    -z str

    判非空
    -n str

    是否為數字
    # return 0 if the string is num, otherwise 1
    strIsNum()
    {
    local RET=1
    if [ -n "$1" ]; then
    local STR_TEMP=`echo "$1" | sed 's/[0-9]//g'`
    if [ -z "$STR_TEMP" ]; then
    RET=0
    fi
    fi
    echo $RET
    }

    舉例:
    if [ -n "$USER_NAME" ]; then
    echo "my name is NOT empty"
    fi

    echo `strIsNum "9980"`


  7. 分割
    以符號+為准,將字符分割為左右兩部分
    使用sed
    舉例:
    命令 date --rfc-3339 seconds 的輸出為
    2007-04-14 15:09:47+08:00
    取其+左邊的部分
    date --rfc-3339 seconds | sed 's/+[0-9][0-9]:[0-9][0-9]//g'
    輸出為
    2007-04-14 15:09:47
    取+右邊的部分
    date --rfc-3339 seconds | sed 's/.*+//g'
    輸出為
    08:00

    以空格為分割符的字符串分割
    使用awk
    舉例:
    STR_FRUIT="Banana 0.89 100"
    取第3字段
    echo $STR_FRUIT | awk '{ print $3; }'

  8. 子字符串
    字符串1是否為字符串2的子字符串
    # return 0 is $1 is substring of $2, otherwise 1
    strIsSubstring()
    {
    local x=1
    case "$2" in
    *$1*) x=0;;
    esac
    echo $x
    }


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM