spring-data-mongodb 使用原生aggregate語句

除了特殊注釋外，本文的測試結果均基於 spring-data-mongodb:1.10.6.RELEASE(spring-boot-starter:1.5.6.RELEASE)，MongoDB 3.0.6

---

 　　考慮到大多數人都是來找答案的，所以先給出結論

// import org.springframework.data.mongodb.core.MongoTemplate;
mongoTemplate.getDb().doEval("db.user.aggregate([{$group:{_id:'$name',count:{$sum:'$age'}}}])");

注意：

　　1、mongo shell 使用js語法，可以使用單引號或者雙引號表示字符串，這里使用單引號，可以避免大量的 \ 轉義符

　　2、原生語句中的key:value部分，value只能是 [xxx] 、{xxx} 、 ‘xxx’ 三種格式的數據。

　　2.1.2版本的spring-data-mongodb已經去掉了doEval方法，我們可以使用下面的方法自己拼接

//spring-boot-starter:2.1.0.RELEASE spring-data-mongodb:2.1.2.RELEASE
BasicDBObject bson = new BasicDBObject();
bson.put("$eval","db.user.aggregate([{$group:{_id:'$name',count:{$sum:'$age'}}}])");
Object object = mongoTemplate.getDb().runCommand(bson);

　　其他的解決方法，如調用存儲過程、拼接完整的BasicDBObject、繼承Aggregate請見第三章：SPRING-DATA-MONGODB底層與MONGO-DRIVER的交互

---

 

　　研究這個是因為遇到了一個業務需求，需要使用多種限制條件，返回多個統計字段。spring-data-mongodb提供的API不足以實現這么復雜的業務，所以就想到了直接使用原生的aggregate查詢。

　　mongo底層實現查詢的方法主要有兩種，一種是 db._collection_.doSomething({ ... }) ，另一種是db.runCommand({doSomething:_collection_ , ... }) ，我們將第一種稱作函數，第二種稱作命令。

　　那么，哪種才是 aggregate的原生查詢？spring-data-mongodb底層究竟調用的是函數還是命令？如果你只是想完成工作的話，copy上面的代碼，然后右上角點×，如果你想解決問題學點東西的話，歡迎繼續看下去，我這邊寫了四章詳細的分析過程，鏈接在底部。

======2019-11-15補充原生語句轉換方式補充======================================================

　　提供了一個執行原生字符串aggregate語句的方法，對外暴露方法 dbAggregate(collectionName, pipeline)

import com.mongodb.BasicDBList;
import com.mongodb.BasicDBObject;
import org.apache.commons.lang.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;
import java.util.LinkedList;

@Component
public class MongoUtil {

    @Autowired
    MongoTemplate mongoTemplate;

    @PostConstruct
    public void test() {
        dbAggregate("user",
                "([{$match:{name:wwl}},{$group:{_id:$name,count:{$sum:#NUM1}}},{$project:{count:#BOOtrue}}])");
    }

    /**
     * aggregate原生語句執行方法
     * @param collectionName 表名
     * @param pipeline 管道操作語句。【:后面的內容，默認string,數字或者布爾加標識符#NUM,#BOO】
     * @return {“result”:[結果], "ok":查詢狀態}
     */
    public Object dbAggregate(String collectionName, String pipeline){
        BasicDBObject bdr = new BasicDBObject();
        bdr.put("aggregate", collectionName);
        char[] c = pipeline.toCharArray();
        bdr.put("pipeline", appendWithChar(c));
        return mongoTemplate.getCollection("$cmd").findOne(bdr);
    }


    /**
     * 根據標點分組，並對分組數據處理轉出最終的參數
     * @param c 待分組的字符串數組
     * @return 轉換
     */
    private static Object appendWithChar(char[] c){
        LinkedList<Object> valuelist = new LinkedList();
        StringBuffer sb = new StringBuffer();
        for(char ele : c){
            if('{' == ele){
                valuelist.add(new BasicDBObject());
            }else if('[' == ele){
                valuelist.add(new BasicDBList());
            }else if(',' == ele || ']' == ele || '}' == ele){
                if(sb.length() > 0){
                    valuelist.add(sb.toString());
                    sb.delete(0 , sb.length());
                }
                insertValue(valuelist);
            }else if(':' == ele){
                valuelist.add(sb.toString());
                sb.delete(0 , sb.length());
            }else{
                sb.append(ele);
            }
        }
        return valuelist.getLast();
    }

    /**
     * 根據數據類型插入數據
     * @param valuelist [obj1,obj2] obj1.add(obj2) 或者 obj.put(obj1)。
     *                  add完后obj2失效，obj1有機會進入下一次插入數據判斷；put完后obj1和obj2都失效
     */
    private static void insertValue(LinkedList<Object> valuelist) {
        Object value1 = checkValue(valuelist.removeLast());
        Object value2 = valuelist.getLast();
        if( value2  instanceof BasicDBList ){
            ((BasicDBList)value2).add(value1);
        }else{
            valuelist.removeLast();
            BasicDBObject dbObject = (BasicDBObject)valuelist.getLast();
            dbObject.put(value2.toString(), value1);
        }
    }

    /**
     * 根據標識符 #NUM\#BOO 判斷value是否需要強轉
     * @param o 待判斷是否需要強轉的參數
     * @return  處理后的參數
     */
    private static Object checkValue(Object o) {
        try {
            String[] str = StringUtils.split(o.toString(), "NUM");
            if( 2 == str.length &&  StringUtils.equals("#",str[0]) ){
                return Long.parseLong(str[1]);
            }

            String[] str2 = StringUtils.split(o.toString(), "BOO");
            if( 2 == str2.length &&  StringUtils.equals("#",str2[0]) ){
                return Boolean.valueOf(str2[1]);
            }
        }catch (Exception e){
            System.out.println("強轉失敗");
            e.printStackTrace();
        }
        return o;
    }
}

 

---

 

---

 目錄

　　一：spring-data-mongodb 使用原生aggregate語句

　　二：mongo的runCommand與集合操作函數的關系

　　三：spring-data-mongodb與mongo shell的對應關系

　　四：mongo中的游標與數據一致性的取舍