接觸django已經很長時間了，但是使用QuerySet查詢集的方式一直比較低端，只會使用filter/Q函數/exclude等方式來查詢，數據量比較小的時候還可以，但是如果數據量很大，而且查詢比較復雜，那么如果還是使用多個filter進行查詢效率就會很低。就趁着清明放假的時間，跑來公司干點私活。輸出成這篇文檔，一是加深印象，提高熟練度；二是分享出來，造福大家~
提高查詢數據庫效率的方案有兩種：
第一種，是使用原生的SQL語句來進行查詢，這樣的優點在於能夠完全按照開發者的意圖來執行，效率會很高，但是缺點也很明顯：1.開發者需要非常熟悉SQL語句，加大開發者的工作量，同時，夾雜着SQL的項目也不利於以后程序的維護，增大程序的耦合度。2.若查詢條件是動態變化的，則會使開發變得更加困難。
django為了解決這一難題，提供了aggregate(聚合函數)和annotate(在aggregate的基礎上進行GROUP BY操作)。
下面，就來介紹第二種方法。
一. aggregate的使用方法
今天在同事的指點下，仔細看了django中annotate的使用方法，會根據查詢條件來動態生成SQL語句，提高組合查詢的效率。
理解aggregate的關鍵在於理解SQL中的聚合函數：以下摘自百度百科：SQL基本函數，聚合函數對一組值執行計算，並返回單個值。除了 COUNT 以外，聚合函數都會忽略空值。 常見的聚合函數有AVG / COUNT / MAX / MIN /SUM 等。
aggregate就是在django中實現聚合函數的。先來看aggregate的使用場景：在項目中有時候你想要從數據庫中取出一個匯總的集合。我們使用django官方的例子：
from django.db import models
class Author(models.Model):
name = models.CharField(max_length=100)
age = models.IntegerField()
class Publisher(models.Model):
name = models.CharField(max_length=300)
num_awards = models.IntegerField()
class Book(models.Model):
name = models.CharField(max_length=300)
pages = models.IntegerField()
price = models.DecimalField(max_digits=10, decimal_places=2)
rating = models.FloatField()
authors = models.ManyToManyField(Author)
publisher = models.ForeignKey(Publisher)
pubdate = models.DateField()
class Store(models.Model):
name = models.CharField(max_length=300)
books = models.ManyToManyField(Book)
registered_users = models.PositiveIntegerField()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
如果我們使用aggregate來進行計數：
>>> from django.db.models import Count
>>> pubs = Publisher.objects.aggregate(num_books=Count('book'))
>>> pubs
{'num_books': 27}
1
2
3
4
5
而且aggregate不單單可以求和，還可以求平均Avg，最大最小等等。
>>> from django.db.models import Avg
>>> Book.objects.all().aggregate(Avg('price'))
{'price__avg': 34.35}
1
2
3
# Cost per page 輸出的名字同樣可以指定，比如price_per_page
>>> from django.db.models import F, FloatField, Sum
>>> Book.objects.all().aggregate(
... price_per_page=Sum(F('price')/F('pages'), output_field=FloatField()))
{'price_per_page': 0.4470664529184653}
1
2
3
4
5
通過上面的介紹，我們可以知道，aggregate的邏輯比較簡單，應用場景比較窄，如果你想要對數據進行分組（GROUP BY）后再聚合的操作，則需要使用annotate來實現。
二. annotate的使用方法
首先，假設有這么一個models:
# python:2.7.9
# django:1.7.8
class MessageTab(models.Model):
msg_sn = models.CharField(max_lenth=20, verbose_name=u'編號')
msg_name = models.CharField(max_length=50, verbose_name=u'消息名稱')
message_time = models.DateTimeField(verbose_name=u'消息出現時間')
msg_status = models.CharField(max_length=50, default='未處理', verbose_name=u'消息狀態')
class Meta:
db_table = 'message_tab'
1
2
3
4
5
6
7
8
9
10
如果在開發過程中，有這么一個需求：查詢各個消息狀態的數量。那么我們經常會使用filter(…).count(…)來進行查詢。現在我們可以使用：
msgS = MessageTab.objects.values_list('msg_status').annotate(Count('id'))
1
其中，id為數據庫自動生成的自增字段。values_list的用法自行Google，或者print出來看一看。
此時，數據庫實際執行的代碼，可以通過：
print msgS.query
1
打印出來。可以看到：
SELECT `message_tab`.`msg_status`, COUNT(`message_tab`.`id`) AS `id__count` FROM `message_tab` GROUP BY `message_tab`.`msg_status` ORDER BY NULL
1
很直觀明了。通過msg_status來進行group by。如果想自定義id__count，比如指定為msg_num，則可以使用：annotate(msg_num=Count(‘id’))
當存在多個查詢條件時，比如查詢最近7天內，message_name屬於某個分組內的消息，則可以使用Q函數：
date_end = now().date() + timedelta(days=1)
date_start = date_end - timedelta(days=7)
messageTimeRange = (date_start, date_end)
GroupList = getGroupIdLis(request.user) # 返回當前用戶能查詢的group的一個列表。。僅做參考用
qQueryList = [Q(message_time__range=messageTimeRange), Q(message_name__in=GroupList)] # 可以有多個Q函數查詢條件
msgS = MessageTab.objects.filter(reduce(operator.and_, qQueryList)).values_list('msg_status').annotate(msg_num=Count('id'))
1
2
3
4
5
6
7
再次調用print msgS.query可看到SQL語句：
SELECT `message_tab`.`msg_status`, COUNT(`message_tab`.`id`) AS `msg_num` FROM `message_tab` WHERE (`message_tab`.`message_time` BETWEEN 2017-03-27 00:00:00 AND 2017-04-03 00:00:00 AND `message_tab`.`message_name` IN (1785785, 78757, 285889, 2727333, 7272957, 786767)) GROUP BY
`message_tab`.`msg_status` ORDER BY NULL
1
2