MongoDB之 分組查詢

分組查詢

可視化工具

https://robomongo.org

pymongo

from pymongo import MongoClient
# 方式一：
c = MongoClient(host="127.0.0.1",port=27017)
db=c["admin"]
db.authenticate("root":"123")
db = c['day5']
print(db.collection_name(include_system_collections=False))
# 方式二：
c = MongoClient("mongodb://root:123@127.0.0.1:27017")
db=c['day5']
print(db.collection_name(include_system_collections=False))
user_table=db['user']
print(list(user_table.find()))

分組查詢

# 聚合函數： $sum,$max,$min,$first,$last
# 每個部門最高工資
select post,max(salary) from emp group by post

db.emp.aggregate({
    "$group":{
        "_id":"$post",
        "max_salary":{"$max":"$salary"},
        "avg_salary":{"$avg":"$salary"},
        "第一個"：{"$first":"$name"}
    }
})

# 每個部門的員工姓名-- 拼到列表（相當於group_concat)
db.emp.aggregate({
    "$goup":{
        "_id":"$post",
        "人員名單"：{"$push":"$name"}
        #"人員名單"：{"$addToset":"$name"} -- 去除重復
    }
})

$match : 對數據進行過濾

# mysql where and having(只能是分組后使用)，goup by 后面不能出現where
# {"$match":{"字段":"條件"}}, 可以使用任何常用查詢操作符 $gt, $lt,$in
db.emp.aggregrate({
    "$match":{"name":"egon"}
})
db.emp.aggregrate({
    "$match":{"_id":{"$gt":3}}
})
# 查詢部門最高工作 》10000 的部門信息
db.emp.aggregrate(
    { "$group":{
        "_id":"$post",
        "max_salary":{"$max":"$salary"}
    }},
	{"$match":{"max_salary":{"$gt":10000}}},
    {"$match":{"_id":{"$ne":"teacher"}}}   
)

投射 project

# 不修改原始數據，只是顯示
# 1. {"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表達式"}}

db.emp.aggregate(
{"$project":{"name":1,"_id":0}}  -- 展示name, 不展示id
)
# 計算一年的工資
db.emp.aggregate(
{"$project":{
    "name":1,
    "_id":0,
	"year_salary":{"$multiply":[12,"$salary"]}
}}  -- 展示name, 不展示id
)
# 加法： 年齡+10 (可多個值)
db.emp.aggregate(
{"$project":{
    "name":1,
    "_id":0,
	"10_later":{"$add":[10,"$age"]}
}} 
)
##2. 數學表達式
{"add":[expr1,expr2,....]}  # 相加
{"$subtract":[expr1,expr2]  # 相減
{"$multiply":[expr1,expr2,...,exprN]} #相乘
{"$divide":[expr1,expr2]} #第一個表達式除以第二個表達式的商作為結果
{"$mod":[expr1,expr2]} #第一個表達式除以第二個表達式得到的余數作為結果

#注意！！ 隱藏字段不能參加運算

 # 3. 表達式之日期表達
 # $add   $subtract  $multiply   $divide
 $year $month, $week,$dayofMonth,$dayofWeek,$dayofYear,$hour,$minute,$second
 db.emp.aggregate(
{"$project":{
    "name":1,
    "_id":0,
	"year":{"$year":"$hire_date"}
    "job_year":{"$subtract":[{"$year":new Date()},{"$year":"$hire_date"}]}
}} 
)
 
#4. 字符串表達式
{"$substr":[字符串/$值為字符串的字段名，起始位置，截取幾個'字節']}
{"$concat":[expr1,expr2...]} #指定的表達式或字符串連接在一起返回,只支持字符串拼接
{"$toLower":expr}
{"$toUpper":expr}
db.emp.aggregate({"$project":{"NAME":{"$toUpper":"$name"}}})
 
# 5. 邏輯表達式
$and
$or
$not
其他見Mongodb權威指南

$ group

$group 用於分組
# 分組后具體信息被隱藏
db.emp.aggregate(
    {"$match":{"_id":{"$gt":3}}},
    {"$group":{"_id":"$post"}}
)  # 結果：{"_id":"operation"} {"_id":"sale"} {"_id":"teacher"}  三個部門

#　要對分組后的內容進行統計就需要對應的幾個聚合函數
# 對應的聚合函數 $sum、$avg、$max、$min、$first、$last
# select id,avg(salary) from db1.emp where id > 3 group by post;  
db.emp.aggregate(
    {"$match":{"_id":{"$gt":3}}},
    {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}},
)
# match用於匹配 與mysql不同的是沒有順序限制，每一個操作接收上一個數據進行處理再傳給下一個
# select id,avg(salary) from db1.emp where id > 3 group by post having avg(salary) > 10000;
db.emp.aggregate(
    {"$match":{"_id":{"$gt":3}}},
    {"$group":{"_id":"$post","ave_salary":{"$avg":"$salary"}}},
    {"$match":{"avg_salary":{"$gt":10000}}}
)

#1、將分組字段傳給$group函數的_id字段即可
{"$group":{"_id":"$sex"}} #按照性別分組
{"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多個字段分組，比如按照州市分組

#2、分組后聚合得結果,類似於sql中聚合函數的聚合操作符：$sum、$avg、$max、$min、$first、$last
#例1：select post,max(salary) from db1.emp group by post; 
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}})

#例2：去每個部門最大薪資與最低薪資
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})

#例3：如果字段是排序后的，那么$first,$last會很有用,比用$max和$min效率高
db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})

#例4：求每個部門的總工資
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}})

#例5：求每個部門的人數
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})

# 3. 數組操作符， 等同於group_concat
"數組":{"$addToSet":expr}: 不重復
"數組":{"$push":expr}:  重復      
 #例：查詢崗位名以及各崗位內的員工姓名:select post,group_concat(name) from db1.emp group by post;
db.emp.aggregrate({"$group":{"_id":"$post","names":{"$push":"$name"}}})
db.emp.aggregrate({"$group":{"_id":"$post","names":{"$addToSet":"$name"}}})        

$sort, limit, skip

{"$sort":{"字段1"：1，"字段2"：-1}}  1升序　　－１降序
{"$limit":1}
{"$skip":2} #跳過多少個文檔
#例1、取平均工資最高的前兩個部門
# 分類，平均工資，前兩個
db.emp.aggregrate(
    {"$group":{"ave_salary":{"$avg":"$salary"}}},
    {"$sort":{"ave_salary":1}},
    {"$limit":2}
    {"skip":1}
)
排序：$sort、限制：$limit、跳過：$skip

$sample

# 隨機取出n條記錄
#集合users包含的文檔如下
{ "_id" : 1, "name" : "dave123", "q1" : true, "q2" : true }
{ "_id" : 2, "name" : "dave2", "q1" : false, "q2" : false  }
{ "_id" : 3, "name" : "ahn", "q1" : true, "q2" : true  }
{ "_id" : 4, "name" : "li", "q1" : true, "q2" : false  }
{ "_id" : 5, "name" : "annT", "q1" : false, "q2" : true  }
{ "_id" : 6, "name" : "li", "q1" : true, "q2" : true  }

db.users.aggregrate({"$sample":{"size":3}})