表單生成器(Form Builder)之mongodb表單數據——整理數據

　　在上篇筆記中，為車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。之后便是查詢了，重點也在查詢……按照之前定好的數據結構，如果查詢mongodb document的最外層比較簡單，但是我們的重點應該是FormItems表單項集合中的表單項，對他們進行查詢、統計等。針對插入的數據，我寫了一個查詢：查詢車輛信息表中主鍵ID為1的車輛的所有耗損記錄。分析一下，因為所有的表（上面的三張表都放在FormInstace表中）都在一個真實的表中，所以我們首先要確定FormId，之后是怎么確定是哪輛車，車輛耗損表中有一個字段冗余着車輛信息（不清楚的可以翻一下前面的筆記），那么查詢語句就出來了：

db.getCollection('FormInstace').find({FormId:'507048044944692000','FormItems':{$elemMatch:{'key':'1572493552001','value.id':"1"}}})

　　這個查詢挺簡單的，確定了表之后就是一個等值查詢，但是現在卻因為我們的數據存儲結構用到了mongodb中的$elemMatch。這還是最簡單的查詢，之后要是有復雜的查詢統計更是不敢想象（事實上也確實如此：現在的項目中對表單中的字段進行查詢統計非常困難）……那么我們能不能將FormItems表單項集合中的字段拿到document的最外層，和之前的關系型數據一樣，如下圖：

　　答案是可以，mongodb有很多聚合管道，使用不同的組合可以幫我們實現上述效果，由於mongodb的版本不同以及語句的復雜程度，寫了好幾版本，下面一一列出。

　　第一版

//    第一版：受限於下面的幾個聚合管道，可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            "FormValueObj._id": "$_id",
            "FormValueObj.ExtendData":"$ExtendData",
            "FormValueObj.CreateUserId": "$CreateUserId",
            "FormValueObj.CreateUserName": "$CreateUserName",
            "FormValueObj.CreateDate":"$CreateDate",
            "FormValueObj.LastModifyDate":"$LastModifyDate",
            "FormValueObj.FormId": "$FormId",
            "FormValueObj.FormVersion":"$FormVersion"
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    }
]);

　　看一下執行結果（用的是Robo 3T 1.2.1）

　　看到這樣的執行結果還是很滿意的，這不正是我們想要的嘛！但是當我調整上圖中的數值時（修改為500），卻報錯了(⊙o⊙)…

　　我去這是什么情況，我都懷疑我的語句寫的有問題了，可是為什么第一次沒問題-_-||，我在另一台電腦中測試時（操作方式相同，只是版本不同，版本是1.3），還出現過“Cannot convert to an aggregation if ntoreturn is set”這樣的錯誤，網上查到了這篇文章https://github.com/Studio3T/robomongo/issues/1529 （這里只是記錄一下，有時間再看吧）。我還有另一個GUI，便試了一下：

　　至此我覺得語句應該沒問題。最后的數據列是合並了所有表（邏輯上）中的所有字段和公共字段。

　　第二版

//    第二版：受限於下面的幾個聚合管道，可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $objectToArray     New in version 3.4.4.
//        $concatArrays    New in version 3.2.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            TempFormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            TempFormValues: { 
                $objectToArray : "$TempFormValueObj"
            }
        }
    },
    {
        $addFields:{
            FormValueObj:{
                $arrayToObject:{
                    $map:{
                        input:{ 
                           $concatArrays: [ "$TempFormValues", {$objectToArray : "$$ROOT"} ] 
                        },
                        as: "kv",
                        in: ["$$kv.k","$$kv.v"]
                    }
                }
            }
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    },
    {
        $project: {
            FormItems:0,
            TempFormValueObj:0,
            TempFormValues:0
        }
    }
]);

　　在上一版中手動拼接了所有的公共字段，不是特別方便，這一版本中去掉了

　　第三版

//    第三版：受限於下面的幾個聚合管道，可以在3.6及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
//        $mergeObjects     New in version 3.6.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

　　這一版代碼最精簡，但是依賴的mongodb的版本比較高，要3.6+

　　現在我們整理完了數據，再看一下上面的查詢，對比一下變化

　　就是在最后添加一個篩選管道，結果和最上面的結果是一樣的都是58條。這里你可能會發現幾個問題：

　　1、查詢表單中的表單項都是硬編碼的數字（例如“1572493552001”），可讀性太差了；

　　2、查詢時間有點長（圖片中有執行時間）；

　　3、寫一個簡單的查詢，這代碼也太多了

　　……

　　對上面的問題，解釋一下

　　1、在實際的界面中的篩選字段都是拖拉拽設計的，用戶是感知不到的，“1572493552001”只是一個橋梁

　　2、查詢全部的時間是有點長，好吧！不是有點是很長……如果業務需求需要獲取所有的數據時，就不要用這種方式了，麻煩你換一種方式吧！我想說的是實際的場景中都是分頁加載，這時時間還是可以接受的，下面是獲取30條的截圖，時間0.114s

　　3、代碼有點多的問題，其實你可以將上面整理數據的代碼作為篩選的前置條件，只要是查詢都添加這段代碼；還有一種處理方式就是先創建一個視圖(mongodb 3.4+支持視圖，https://docs.mongodb.com/manual/core/views/)

db.createView("FormInstaceView","FormInstace",[
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

　　之后你就可以向下面一樣查詢了

　　結果和上面的沒有什么區別，但是你不要將視圖當作mongodb中的collection使用，這樣是查不到數據的

db.getCollection('FormInstaceView').find({FormId:"507048044944692000","1572493552001.id":1})

　　這篇筆記還是夠長的，一大推代碼……就到這里了。