目錄
【轉】linux下awk內置函數的使用(split/substr/length)
一、字符串分割
1、awk分割
把 ceph_12.2.1.centos.x86_64.tar.gz-2021-10-08-08后面的2021-10-08-08按“-”分割，取最后一個數字。
#split($1, arr, "-") ，把第一列，以“-”為分割符分割，把分割得到的結果放入arr數字中。（arr數組從1開始）
echo "ceph_12.2.1.centos.x86_64.tar.gz-2021-10-08-08"|awk '{split($1, arr, "-"); print arr[5]}'
#注意split是awk的內置函數，更多見文章末尾
2、利用shell 中 變量 的字符串替換成空格分割
原理：
${parameter//pattern/string}
用string來替換parameter變量中所有匹配的pattern
參考文章： Shell_Shell 腳本中字符串的相關操作_迎難而上-CSDN博客
string="hello,shell,split,test" 中的“，”替換成空格后賦值給array 就成了數組賦值
#!/bin/bash
string="hello,shell,split,test"
array=(${string//,/ })
for var in ${array[@]}
do
echo $var
done 
3、設置分隔符，通過 IFS 變量
原理
自定義IFS變量, 改變分隔符, 對字符串進行切分
參考文章：
Shell中的IFS解惑_Simple life-CSDN博客
#!/bin/bash
string="hello,shell,split,test"
#對IFS變量 進行替換處理
OLD_IFS="$IFS" #保存當前shell默認的分割符，一會要恢復回去
IFS="," #將shell的分割符號改為，“”
array=($string) #分割符是“，”，"hello,shell,split,test" 賦值給array 就成了數組賦值
IFS="$OLD_IFS" #恢復shell默認分割符配置
for var in ${array[@]}
do
echo $var
done
4、利用tr 指令實現字符替換
原理
由於只是對單個字符進行的替換，則可以用 echo args | tr "oldSpilt" "newSpilt" 的方式實現。
r 指令講解
背景介紹
tr命令可以對來自標准輸入的字符進行替換、壓縮和刪除。它可以將一組字符變成另一組字符，經常用來編寫優美的單行命令，作用很強大。
語法
tr(選項)(參數)
選項
-c或——complerment：取代所有不屬於第一字符集的字符；
-d或——delete：刪除所有屬於第一字符集的字符；
-s或--squeeze-repeats：把連續重復的字符以單獨一個字符表示；
-t或--truncate-set1：先刪除第一字符集較第二字符集多出的字符。
參數
字符集1：指定要轉換或刪除的原字符集。當執行轉換操作時，必須使用參數“字符集2”指定轉換的目標字符集。但執行刪除操作時，不需要參數“字符集2”；
字符集2：指定要轉換成的目標字符集。
#!/bin/bash
string="hello,shell,split,test"
array=(`echo $string | tr ',' ' '` )
for var in ${array[@]}
do
echo $var
done
Shell_Linux Shell 中實現字符串切割的幾種方法_迎難而上-CSDN博客_shell 字符串分割
二、文件分割
基礎版
split -l 1000 test.txt -d -a 3 test_
-l:按行分隔，每1000行切割test.txt文件
-d:添加數字后綴
-a:以3位數數字做尾數
test_:分割后的文件的前綴
升級版
split -l 1000 test.txt -d -a 3 test_split_&&ls|grep test_split_ | xargs -n1 -i {} mv {} {}.txt
在基礎版的結果上，先執行ls命令，查找test_split_開頭的文件，然后逐個重命名為.txt
作者：風箏flying
鏈接：https://www.jianshu.com/p/f4a16185c65f
附錄
【轉】linux下awk內置函數的使用(split/substr/length)
轉自：http://gdcsy.blog.163.com/blog/static/12734360920130241521280/
一、split 初始化和類型強制
awk的內建函數split允許你把一個字符串分隔為單詞並存儲在數組中。你可以自己定義域分隔符或者使用現在FS(域分隔符)的值。
格式：
split (string, array, field separator)
split (string, array) -->如果第三個參數沒有提供，awk就默認使用當前FS值。
例子：
例1：替換分隔符
| 1 2 3 |
|
例2：計算指定范圍內的和(計算每個人1月份的工資之和)
| 1 2 3 4 5 6 7 8 9 10 |
|
二、substr 截取字符串
返回從起始位置起，指定長度之子字符串；若未指定長度，則返回從起始位置到字符串末尾的子字符串。
格式：
substr(s,p) 返回字符串s中從p開始的后綴部分
substr(s,p,n) 返回字符串s中從p開始長度為n的后綴部分
例子：
| 1 2 |
|
解釋：
awk -F ',' '{print substr($3,6)}' ---> 表示是從第3個字段里的第6個字符開始，一直到設定的分隔符","結束.
substr($3,10,8) ---> 表示是從第3個字段里的第10個字符開始，截取8個字符結束.
substr($3,6) ---> 表示是從第3個字段里的第6個字符開始，一直到結尾
三、length 字符串長度
length函數返回沒有參數的字符串的長度。length函數返回整個記錄中的字符數。
| 1 2 |
|
四、gsub函數
gsub函數則使得在所有正則表達式被匹配的時候都發生替換。gsub(regular expression, subsitution string, target string);簡稱 gsub（r,s,t)。
舉例：把一個文件里面所有包含 abc 的行里面的 abc 替換成 def，然后輸出第一列和第三列
| 1 |
|
五、正則表達式
| 字符 | 功能 |
|---|---|
| + | 指定如果一個或多個字符或擴展正則表達式的具體值（在 +（加號）前）在這個字符串中，則字符串匹配。命令行： awk '/smith+ern/' testfile 將包含字符 smit，后跟一個或多個 h 字符，並以字符 ern 結束的字符串的任何記錄打印至標准輸出。此示例中的輸出是： smithern, harry smithhern, anne |
| ? | 指定如果零個或一個字符或擴展正則表達式的具體值（在 ?（問號）之前）在字符串中，則字符串匹配。命令行： awk '/smith?/' testfile 將包含字符 smit，后跟零個或一個 h 字符的實例的所有記錄打印至標准輸出。此示例中的輸出是： smith, alan smithern, harry smithhern, anne smitters, alexis |
| | | 指定如果以 |（垂直線）隔開的字符串的任何一個在字符串中，則字符串匹配。命令行： awk '/allen | alan /' testfile 將包含字符串 allen 或 alan 的所有記錄打印至標准輸出。此示例中的輸出是： smiley, allen smith, alan |
| ( ) | 在正則表達式中將字符串組合在一起。命令行： awk '/a(ll)?(nn)?e/' testfile 將具有字符串 ae 或 alle 或 anne 或 allnne 的所有記錄打印至標准輸出。此示例中的輸出是： smiley, allen smithhern, anne |
| {m} | 指定如果正好有 m 個模式的具體值位於字符串中，則字符串匹配。命令行： awk '/l{2}/' testfile 打印至標准輸出 smiley, allen |
| {m,} | 指定如果至少 m 個模式的具體值在字符串中，則字符串匹配。命令行： awk '/t{2,}/' testfile 打印至標准輸出： smitters, alexis |
| {m, n} | 指定如果 m 和 n 之間（包含的 m 和 n）個模式的具體值在字符串中（其中m<= n），則字符串匹配。命令行： awk '/er{1, 2}/' testfile 打印至標准輸出： smithern, harry smithern, anne smitters, alexis |
| [String] | 指定正則表達式與方括號內 String 變量指定的任何字符匹配。命令行： awk '/sm[a-h]/' testfile 將具有 sm 后跟以字母順序從 a 到 h 排列的任何字符的所有記錄打印至標准輸出。此示例的輸出是： smawley, andy |
| [^ String] | 在 [ ]（方括號）和在指定字符串開頭的 ^ (插入記號) 指明正則表達式與方括號內的任何字符不匹配。這樣，命令行： awk '/sm[^a-h]/' testfile 打印至標准輸出： smiley, allen smith, alan smithern, harry smithhern, anne smitters, alexis |
| ~,!~ | 表示指定變量與正則表達式匹配（代字號）或不匹配（代字號、感嘆號）的條件語句。命令行： awk '$1 ~ /n/' testfile 將第一個字段包含字符 n 的所有記錄打印至標准輸出。此示例中的輸出是： smithern, harry smithhern, anne |
| ^ | 指定字段或記錄的開頭。命令行： awk '$2 ~ /^h/' testfile 將把字符 h 作為第二個字段的第一個字符的所有記錄打印至標准輸出。此示例中的輸出是： smithern, harry |
| $ | 指定字段或記錄的末尾。命令行： awk '$2 ~ /y$/' testfile 將把字符 y 作為第二個字段的最后一個字符的所有記錄打印至標准輸出。此示例中的輸出是： smawley, andy smithern, harry |
| . （句號） | 表示除了在空白末尾的終端換行字符以外的任何一個字符。命令行： awk '/a..e/' testfile 將具有以兩個字符隔開的字符 a 和 e 的所有記錄打印至標准輸出。此示例中的輸出是： smawley, andy smiley, allen smithhern, anne |
| *（星號） | 表示零個或更多的任意字符。命令行： awk '/a.*e/' testfile 將具有以零個或更多字符隔開的字符 a 和 e 的所有記錄打印至標准輸出。此示例中的輸出是： smawley, andy smiley, allen smithhern, anne smitters, alexis |
| \ (反斜杠) | 轉義字符。當位於在擴展正則表達式中具有特殊含義的任何字符之前時，轉義字符除去該字符的任何特殊含義。例如，命令行： /a\/\// 將與模式 a // 匹配，因為反斜杠否定斜杠作為正則表達式定界符的通常含義。要將反斜杠本身指定為字符，則使用雙反斜杠。有關反斜杠及其使用的更多信息，請參閱以下關於轉義序列的內容。 |
舉例：把一個文件里面所有包含 abc 的行里面的 abc 替換成 def，然后輸出第一列和第三列
| 1 |
|