整理最近用的Mongo查詢語句

背景

最近做了幾個規則邏輯。用到mongo查詢比較多，就是查詢交易信息跑既定規則篩選出交易商戶，使用聚合管道進行統計和取出簡單處理后的數據，用SQL代替業務代碼邏輯的判斷。

方法

MongoDB聚合使用aggregate，聚合管道采取自動向下子執行方式，基本語法格式：

db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

聚合框架中常用的操作:

• $project：修改輸入文檔的結構。可以用來重命名、增加或刪除域，也可以用於創建計算結果以及嵌套文檔。
• \(match：用於過濾數據，只輸出符合條件的文檔。\)match使用MongoDB的標准查詢操作。
• $limit：用來限制MongoDB聚合管道返回的文檔數。
• $skip：在聚合管道中跳過指定數量的文檔，並返回余下的文檔。
• $unwind：將文檔中的某一個數組類型字段拆分成多條，每條包含數組中的一個值。
• $group：將集合中的文檔分組，可用於統計結果。
• $sort：將輸入文檔排序后輸出。
• $geoNear：輸出接近某一地理位置的有序文檔。

表達式	描述	實例
$sum	計算總和。	db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(sum : "\)likes"}}}])
$avg	計算平均值	db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(avg : "\)likes"}}}])
$min	獲取集合中所有文檔對應值得最小值。	db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(min : "\)likes"}}}])
$max	獲取集合中所有文檔對應值得最大值。	db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(max : "\)likes"}}}])
$push	在結果文檔中插入值到一個數組中。	db.mycol.aggregate([{\(group : {_id : "\)by_user", url : {\(push: "\)url"}}}])
$addToSet	在結果文檔中插入值到一個數組中，但不創建副本。	db.mycol.aggregate([{\(group : {_id : "\)by_user", url : {\(addToSet : "\)url"}}}])
$first	根據資源文檔的排序獲取第一個文檔數據。	db.mycol.aggregate([{\(group : {_id : "\)by_user", first_url : {\(first : "\)url"}}}])
$last	根據資源文檔的排序獲取最后一個文檔數據	db.mycol.aggregate([{\(group : {_id : "\)by_user", last_url : {\(last : "\)url"}}}])

查詢示例

示例一

部分字段說明：transAmt:交易金額，transType:交易類型，transTime:交易時間，mercNum:商戶編號

查詢交易信息，交易商戶昨天交易筆數大於三百，交易金額累加大於三百萬，這里現根據$match將交易信息篩選出來，然后使用$group根據商戶編號分組，統計交易筆數和累加交易金額，將分組結果判斷匹配交易筆數大於三百，交易金額大於三百萬。

db.getCollection('box_order').aggregate([
  {
    $match: {
                "transTime":{$gte:ISODate("2020-01-03T00:00:00.000Z"),$lt:ISODate("2020-01-10T00:00:00.000Z")},
                "transType":"consume",
                "transStatus":{$in:["tsProcessing","success"]}
               }
  },
  {
    $group: {
                  "_id": "$mercNum",
                  "count": {"$sum": 1},
                  "totalAmt": {"$sum": "$transAmt"}
             }
  },
  {
    $match: {
                  "count": {"$gte": 300},
                  "totalAmt": {"$gte": 3000000}
                }
  }
])

示例二

部分字段說明：cardNo:交易卡號，transType:交易類型，transTime:交易時間，mercNum:商戶編號

查詢時間段內指定卡號下的交易商戶信息。

根據卡號和交易時間將交易數據查出來，然后只顯示商戶號和卡號兩列字段，根據商戶號和卡號分組去重，再根據卡號分組，將商戶號轉化成一個字段變成數組。

db.getCollection('order_202011').aggregate([
  {
    "$match": {
      "detailInfo.cardNo": {
        "$in": [
          "YtCZ7KhCVG5xerKUg8bzJhVAjW/hWAWj",
          "cQ7QQ0yCVW6LhHtJNVRq2A==",
          "6KDpHmQ9s+0SQAGAUyLJ4A==",
          "cQ7QQ0yCVW7iSegn8uqIfg==",
          "ZEOcXdI4rfvswAz7dQ80hw==",
          "6KDpHmQ9s+2Nz61PPuOamw=="
        ]
      },
      "baseInfo.transTime": {
        "$gte": new Date(2020,10,01),
        "$lt": new Date(2020,10,24)
      }
    }
  },
  {
    "$project": {
      "merchantInfo.mercNum": 1,
      "detailInfo.cardNo": 1
    }
  },
  {
    "$group": {
      "_id": {
        "mercNum": "$merchantInfo.mercNum",
        "cardNo": "$detailInfo.cardNo"
      }
    }
  },
  {
    "$group": {
      "_id": "$_id.cardNo",
      "mercNums": {
        "$push": "$_id.mercNum"
      }
    }
  }
])

示例三

根據指定商戶和其他條件查詢交易信息，根據卡號分組並組裝成一個字段的集合，最后篩選掉id只保留cardNos數組

db.getCollection('box_order_fxq_202104').aggregate([
    {
        "$match": {
            "mercNum": "M15201812030753174730",
			"transTime": {
				"$gte": ISODate("2021-04-17T16:00:00.000Z"),
				"$lt": ISODate("2021-04-18T16:00:00.000Z")
			},
            "mercLevel": {
                "$in": [
                    "C",
                    "D",
                    "E"
                ]
            },
            "payType": "POSPAY",
            "transType": "consume",
            "cardType": "2"
        }
    },
    {
        "$group": {
            "_id": null,
            "cardNos": {
                "$push": "$cardNo"  //$addToSet
            }
        }
    },
    {
        "$project":{
            "cardNos":1,"_id":0
        }
    }
])

查詢結果：

{
    "cardNos" : [ 
        "n2IwHHhfEAJcm6RFsoNPcBVAjW/hWAWj", 
        "n2IwHHhfEAJcm6RFsoNPcBVAjW/hWAWj"
    ]
}

示例四

根據時間查詢交易信息后，根據商戶號分組，並將第一個交易信息存放入data字段中。（如果是需要全部的商戶交易信息那么將$first修改為$push）

db.getCollection('order').aggregate([
    {
        "$match": {
            "startTrxTime": {
                "$gte": ISODate("2021-07-20T16:00:00.000Z"),
                "$lt": ISODate("2021-07-21T16:00:00.000Z")
            }
        }
    },
    {
        "$group": {
            "_id": "$subMerchantNo",
            'data':{'$first': '$$ROOT'}  //$push
        }
    },
    {
        "$sort": {
            "_id": 1
        }
    }
])

尾言

最近那個到查詢的大差不差，要注意的都是一些小改動，一般情況正常查就可以。后續有什么不一樣的會繼續補充。先到這里