shell腳本系列：常用工具

Linux中有很多非常實用的工具或命令，靈活運用這些工具，可以幫助我們在Shell編程中化繁為簡，如虎添翼。可能一個工具或命令就能讓原本負責的問題快速解決，本章節我們來一起豐富我們的工具庫，日常可以多積累總結，幫助我們更好的編寫Shell。

1. sort

簡介：顧名思義，就是用來排序的工具，在我們日常工作中對於重復列的多行輸出，如果想要對內容按照特定規則排序，此時就用到了sort工具。

原理：sort 將文件的每一行作為一個單位，相互比較，比較原則默認情況是從首字符向后，依次按 ASCII 碼值進行比較， 后將他們按升序輸出。

語法：sort [OPTION]... [FILE]…

選項說明：

• -t：指定以什么作為列分割
• -k：用來制定利用那列進行排序，通常-t於-k配合使用
• -r：將文本文件降序輸出
• -n：以數組來進行生序排序
• -f：忽略大小寫字母
• -u：取消重復的行

在此我們不全部展開起所有選項，只根據日常經驗結合實際案例列舉最常用的選項進行說明。

實例：

• 對/etc/passwd中以uid從大到小排序

[root@test-server ~]# sort -t: -k3 -n -r /etc/passwd
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sync:x:5:0:sync:/sbin:/bin/sync
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash

通過上例可以看到，利用-t選項指定/etc/passwd文件中，以:作為列進行分割，指定uid的列為k3，-n以數字進行排序，-r為倒序排序輸出。

2. uniq

簡介：對於一些重復輸出的行進行去重。

語法：uniq [OPTION]... [INPUT [OUTPUT]]

選項說明：

• -c： 打印出現的次數，只能統計相鄰的；
• -d： 只打印重復行；
• -u： 只打印不重復行；
• -D： 只打印重復行，並且把所有重復行打印出來。

實例：

• 對/etc/passwd中以:，對最后一列求出現的次數

[root@test-server ~]# awk -F":" '{print $NF}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/sync
/sbin/shutdown
/sbin/halt
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin

[root@test-server ~]# awk -F":" '{print $NF}' /etc/passwd |sort |uniq -c |sort -nr
     14 /sbin/nologin
      1 /sbin/shutdown
      1 /sbin/halt
      1 /bin/sync
      1 /bin/bash

先利用awk打印出最后一列內容，之后利用sort 來進行排序，將相同的字符規在一起輸出，最后對相同的行進行去重，得出每種不同類型shell出現的次數，最后對數學從大到小排序。

3. find

簡介：顧名思義，就是用來在系統中查找文件的工具，可以指定一個基礎起始目錄，根據不同的選項查找不同的文件。

語法：find path -option [ -print ] [ -exec -ok command ] {} \;

原理：find 根據option在指定的系統路徑中查找文件，如果查找到與對應的exec命令，則執行對應的command。

• print： find 命令將匹配的文件輸出到標准輸出；
• exec： find 命令對匹配的文件執行該參數所給出的 shell 命令。相應命令的形式為 ‘command’ {} ;，注意 {} 和 \；之間的空格；
• ok： 和 - exec 的作用相同，只不過以一種更為安全的模式來執行該參數所給出的 shell 命令，在執行每一個命令之前，都會給出提示，讓用戶來確定是否執行；

選項說明：

- -name   filename               #查找名為 filename 的文件
- -perm                          #按執行權限來查找
- -user    username              #按文件屬主來查找
- -group groupname          	 #按組來查找
- -mtime   -n +n                 #按文件更改時間來查找文件，-n 指 n 天以內，+n 指 n 天以前
- -atime    -n +n                #按文件訪問時間來查 GIN: 0px">
- -ctime    -n +n                #按文件創建時間來查找文件，-n 指 n 天以內，+n 指 n 天以前
- -type    b/d/c/p/l/f           #查是塊設備、目錄、字符設備、管道、符號鏈接、普通文件
- -size      n [c]               #查長度為 n 塊 [或 n 字節] 的文件
- -depth                         #使查找在進入子目錄前先行查找完本目錄
- -prune　　                      #通常和 -path 一起使用，用於將特定目錄排除在搜索條件之外。過濾條件寫在其他條件前面。

在此我們對命令支持的選項全部展開詳解，根據日常經驗結合實際案例列舉最常用的選項進行說明：

實例:

• 在當前目錄尋找文件名稱以.txt結尾的文件並打印出來

[root@master ~]# find   ~   -name   "*.txt"   -print 
/root/kubesphere-all-advanced-2.0.2/scripts/os/requirements.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/storages/NFS-Server/files/nfs-server-provisioner/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/ks-devops/jenkins/files/jenkins/jenkins-update-center/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/ks-devops/harbor/files/harbor/harbor/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/metrics-server/files/metrics-server/templates/NOTES.txt
/root/kubesphere-all-advanced-2.0.2/kubesphere/roles/openpitrix/files/openpitrix/kubernetes/password.txt

• 查找 /usr/bin 目錄下大於 10M 的文件

[root@master ~]# find /usr/bin -size +10000k -exec ls -ld {} \; 
-rwxr-xr-x. 1 root root 13606800 Jul 10  2018 /usr/bin/ceph-dencoder
-rwxr-xr-x. 1 root root 15863688 Jul 10  2018 /usr/bin/ceph-objectstore-tool
-rwxr-xr-x. 1 root root 15589080 Jul 10  2018 /usr/bin/ceph-osd
-rwxr-xr-x. 1 root root 33073928 Feb 10  2019 /usr/bin/docker
-rwxr-xr-x. 1 root root 38088856 Feb 10  2019 /usr/bin/docker-containerd
-rwxr-xr-x. 1 root root 68608416 Feb 10  2019 /usr/bin/dockerd
-rwxr-xr-x. 1 root root 20895160 Feb 10  2019 /usr/bin/docker-containerd-ctr
-rwxr-xr-x. 1 root root 10785264 Jul 10  2018 /usr/bin/ceph-mon

• 查找當前目錄下權限為 777 的文件

[root@master ~]# find . -perm 777 -print   
./.helm/repository/cache/local-index.yaml
./kubesphere-all-v2.1.0/k8s/extra_playbooks/inventory
./kubesphere-all-v2.1.0/k8s/extra_playbooks/roles
./kubesphere-all-v2.1.0/k8s/contrib/terraform/openstack/hosts

4. date

在我們編寫 Shell 的時候經常遇到需要記錄日志的情況，在記錄日志的時候需要打上時間戳，以便后期查看那個時間節點運行執行的操作，此時就需要用到 date 命令

簡介：date 可以用來顯示或設定系統的日期與時間。

選項：

-d<字符串>：顯示字符串所指的日期與時間。字符串前后必須加上雙引號； 
-s<字符串>：根據字符串來設置日期與時間。字符串前后必須加上雙引號； 
-u：顯示GMT； 

時間格式：

%Y -- 年份
%m -- 月份
%d -- 當月第幾天
%t -- Tab 跳格
%H -- 小時，24 小時格式 (0~23)
%I -- 小時，12 小時格式 (0~12)
%M -- 分鍾 (00~59)
%S -- 秒 (00~59)
%j -- 今年中的第幾天
%Z -- 以字符串形式輸出當前時區
%z -- 以數字形式輸出當前時區
%F --  文件時間格式 same as % Y-% m-% d
%T -- 24 小時制時間表示 (hh:mm:ss)

• 實例

計算一個命令執行所需要的耗時

#!/bin/bash 
start=$(date +%s) 
echo "$(date +%F" "%T) 開始執行命令"
sleep 5
echo "$(date +%F" "%T) 執行命令完成"
end=$(date +%s) 
difference=$(( end - start )) 
echo "執行命令總耗時:$difference seconds."

[root@master ~]# bash time.sh 
2020-04-19 10:19:58 開始執行命令
2020-04-19 10:20:03 執行命令完成
執行命令總耗時:5 seconds.

5. xargs

簡介：xargs 全稱是 transform arguments，意為轉換參數，它將標准輸入轉換為命令行參數。因為 linux 命令行中經常要使用到管道符連接不同的命令，但是有些命令不支持標准輸入，此時就需要使用 xargs 將標准輸入轉換為參數，

語法：stdin_input | xargs [option] cmd

原理：xargs 一般是通過管道符接受標准輸入並將其轉換為命令行參數傳遞給 cmd。

實例：

• 將標准輸入轉換成命令行參數

[root@master ~]# seq 1 6
1
2
3
4
5
6
[root@master ~]# seq 1 6 |xargs -n 2
1 2
3 4
5 6

• 刪除日志文件

ls *.log |xargs rm -r	f {} 

• 查找 /home/data 下權限為 644 的文件修改權限為 600

find /home/data -perm 644 | xargs chmod 600 

• 查找 jpg 文件並打包

find / -name *.jpg -type f -print | xargs tar -cvzf images.tar.gz