shell解析json

在shell腳本中有時候需要解析json字段信息，但是一般簡單的sed&awk都存在問題，比如多層json結構解析失敗。本文介紹兩種比較優秀的方法，各有優缺點

使用awk解析

方法簡要說明：

• 是先查找一個字符串：帶雙引號的key。如果沒找到，則直接返回defaultValue。

• 查找最近的冒號，找到后認為值的部分開始了，直到在層數上等於0時找到這3個字符：,}]。

• 如果有多個同名key，則依次全部打印（不論層級，只按出現順序）

• getJsonValuesByAwk方法

### 方法簡要說明：
### 1. 是先查找一個字符串：帶雙引號的key。如果沒找到，則直接返回defaultValue。
### 2. 查找最近的冒號，找到后認為值的部分開始了，直到在層數上等於0時找到這3個字符：,}]。
### 3. 如果有多個同名key，則依次全部打印（不論層級，只按出現順序）
### @author lux feary
###
### 3 params: json, key, defaultValue
function getJsonValuesByAwk() {
    awk -v json="$1" -v key="$2" -v defaultValue="$3" 'BEGIN{
        foundKeyCount = 0
        while (length(json) > 0) {
            # pos = index(json, "\""key"\""); ## 這行更快一些，但是如果有value是字符串，且剛好與要查找的key相同，會被誤認為是key而導致值獲取錯誤
            pos = match(json, "\""key"\"[ \\t]*?:[ \\t]*");
            if (pos == 0) {if (foundKeyCount == 0) {print defaultValue;} exit 0;}

            ++foundKeyCount;
            start = 0; stop = 0; layer = 0;
            for (i = pos + length(key) + 1; i <= length(json); ++i) {
                lastChar = substr(json, i - 1, 1)
                currChar = substr(json, i, 1)

                if (start <= 0) {
                    if (lastChar == ":") {
                        start = currChar == " " ? i + 1: i;
                        if (currChar == "{" || currChar == "[") {
                            layer = 1;
                        }
                    }
                } else {
                    if (currChar == "{" || currChar == "[") {
                        ++layer;
                    }
                    if (currChar == "}" || currChar == "]") {
                        --layer;
                    }
                    if ((currChar == "," || currChar == "}" || currChar == "]") && layer <= 0) {
                        stop = currChar == "," ? i : i + 1 + layer;
                        break;
                    }
                }
            }

            if (start <= 0 || stop <= 0 || start > length(json) || stop > length(json) || start >= stop) {
                if (foundKeyCount == 0) {print defaultValue;} exit 0;
            } else {
                print substr(json, start, stop - start);
            }

            json = substr(json, stop + 1, length(json) - stop)
        }
    }'
}

• 測試腳本

json='{"code":200,"msg":"success","data":{"orderNo":"test_order_no"}}'
getJsonValuesByAwk "$json" "code" "defaultValue"
getJsonValuesByAwk "$json" "data" "defaultValue"
getJsonValuesByAwk "$json" "orderNo" "defaultValue"

• 結果反饋

200
{"orderNo":"test_order_no"}
"test_order_no"

使用專門的Json解析庫: jq - Command-line JSON processor

• 安裝

# 安裝
yum install jq

• 格式化展示

echo '{"name":"tenmao","age":10,"hobbies":["bar","foo"],"address":{"province":"gd","city":"sz"}}' | jq

 

JSON格式化

• 提取特定的值: use_jq.sh

raw='{"name":"tenmao","age":10,"hobbies":["bar","foo"],"address":{"province":"gd","city":"sz"}}'
echo $raw | jq -r '.name'
echo $raw | jq -r '.hobbies'
echo $raw | jq -r '.hobbies[0]'
echo $raw | jq -r '.address.city'

[root@VM_77_51_centos ~]# bash use_jq.sh 
tenmao
[
  "bar",
  "foo"
]
bar
sz

參考

• shell/bash解析JSON
• shell解析json字符串

鏈接：https://www.jianshu.com/p/333367027eaa