Django 中的select_related函數優化查詢

 

參考鏈接: https://blog.csdn.net/secretx/article/details/43964607

在數據庫有外鍵的時候,使用select_related()和prefech_related()可以很好地減少數據庫請求的次數, 從而提高性能

假定一個個人信息系統,需要記錄系統中各個人的故鄉,居住地,以及到過的城市,數據庫設計如下:

 

from django.db import models
 
class Province(models.Model):
    name = models.CharField(max_length=10)
    def __unicode__(self):
        return self.name
 
class City(models.Model):
    name = models.CharField(max_length=5)
    province = models.ForeignKey(Province)
    def __unicode__(self):
        return self.name
 
class Person(models.Model):
    firstname  = models.CharField(max_length=10)
    lastname   = models.CharField(max_length=10)
    visitation = models.ManyToManyField(City, related_name = "visitor")
    hometown   = models.ForeignKey(City, related_name = "birth")
    living     = models.ForeignKey(City, related_name = "citizen")
    def __unicode__(self):

 

select_related():

對於一對一(OnetoOneField)和外鍵字段(ForeignKey),可以使用select_related來對比QuerySet進行優化:

在對QuerySet使用select_related()函數后,Django會獲取相應外鍵對應的對象,從而在之后需要的地方不必在查詢數據庫,如果我們需要打印數據庫中的所有市及其所屬省份,最直接的做法是:

citys = City.objects.all()
>>> for c in citys:
...   print c.province

 這樣會導致線性的SQL查詢, 如果對象數量n太多,每個對象中有K個外鍵字段的話,就會導致n*k+1次SQL查詢,在本例子中,因為3個city對象就導致了4次SQL查詢:

SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 2 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1 ;

 

如果我們使用select_related()函數:

citys = City.objects.select_related().all()
>>> for c in citys:
...   print c.province

 

就只有一次SQL查詢,雖然大大減少了SQL查詢的次數:

SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`,
`QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM`QSOptimize_city`
INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`) ;

 

select_related() 接受可變長參數，每個參數是需要獲取的外鍵（父表的內容）的字段名，以及外鍵的外鍵的字段名、外鍵的外鍵的外鍵…。若要選擇外鍵的外鍵需要使用兩個下划線“__”來連接。

例如我們要獲得張三的現居省份，可以用如下方式：

1. >>> zhangs = Person.objects.select_related('living__province').get(firstname=u"張",lastname=u"三")
2. >>> zhangs.living.province

觸發的SQL查詢如下：

1. SELECT `QSOptimize_person`.`id`, `QSOptimize_person`.`firstname`,
2. `QSOptimize_person`.`lastname`, `QSOptimize_person`.`hometown_id`, `QSOptimize_person`.`living_id`,
3. `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`,
4. `QSOptimize_province`.`name`
5. FROM `QSOptimize_person`
6. INNER JOIN `QSOptimize_city` ON (`QSOptimize_person`.`living_id` = `QSOptimize_city`.`id`)
7. INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`)
8. WHERE (`QSOptimize_person`.`lastname` = '三' AND `QSOptimize_person`.`firstname` = '張' );

可以看到，Django使用了2次 INNER JOIN 來完成請求，獲得了city表和province表的內容並添加到結果表的相應列，這樣在調用 zhangs.living的時候也不必再次進行SQL查詢。

+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+
| id | firstname | lastname | hometown_id | living_id | id | name | province_id | id | name | +----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+ | 1 | 張 | 三 | 3 | 1 | 1 | 武漢市 | 1 | 1 | 湖北省 | +----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+ 1 row in set (0.00 sec)

然而，未指定的外鍵則不會被添加到結果中。這時候如果需要獲取張三的故鄉就會進行SQL查詢了：

1. >>> zhangs.hometown.province
2.  
3. SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`,
4. `QSOptimize_city`.`province_id`
5. FROM `QSOptimize_city`
6. WHERE `QSOptimize_city`.`id` = 3 ;
7.  
8. SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
9. FROM `QSOptimize_province`
10. WHERE `QSOptimize_province`.`id` = 1

同時，如果不指定外鍵，就會進行兩次查詢。如果深度更深，查詢的次數更多。

值得一提的是，從Django 1.7開始，select_related()函數的作用方式改變了。在本例中，如果要同時獲得張三的故鄉和現居地的省份，在1.7以前你只能這樣做：

1. >>> zhangs = Person.objects.select_related('hometown__province','living__province').get(firstname=u"張",lastname=u"三")
2. >>> zhangs.hometown.province
3. >>> zhangs.living.province

但是1.7及以上版本，你可以像和queryset的其他函數一樣進行鏈式操作：

1. >>> zhangs = Person.objects.select_related('hometown__province').select_related('living__province').get(firstname=u"張",lastname=u"三")
2. >>> zhangs.hometown.province
3. >>> zhangs.living.province

如果你在1.7以下版本這樣做了，你只會獲得最后一個操作的結果，在本例中就是只有現居地而沒有故鄉。在你打印故鄉省份的時候就會造成兩次SQL查詢。

depth 參數

select_related() 接受depth參數，depth參數可以確定select_related的深度。Django會遞歸遍歷指定深度內的所有的OneToOneField和ForeignKey。以本例說明：

>>> zhangs = Person.objects.select_related(depth = d)

d=1  相當於 select_related(‘hometown’,'living’)

d=2  相當於 select_related(‘hometown__province’,'living__province’)

無參數

select_related() 也可以不加參數，這樣表示要求Django盡可能深的select_related。例如：zhangs = Person.objects.select_related().get(firstname=u”張”,lastname=u”三”)。但要注意兩點：

    1.Django本身內置一個上限，對於特別復雜的表關系，Django可能在你不知道的某處跳出遞歸，從而與你想的做法不一樣。具體限制是怎么工作的我表示不清楚。
    2.Django並不知道你實際要用的字段有哪些，所以會把所有的字段都抓進來，從而會造成不必要的浪費而影響性能。

小結

1.select_related主要針一對一和多對一關系進行優化。
2.select_related使用SQL的JOIN語句進行優化，通過減少SQL查詢的次數來進行優化、提高性能。
3.可以通過可變長參數指定需要select_related的字段名。也可以通過使用雙下划線“__”連接字段名來實現指定的遞歸查詢。沒有指定的字段不會緩存，沒有指定的深度不會緩存，如果要訪問的話Django會再次進行SQL查詢。
4.也可以通過depth參數指定遞歸的深度，Django會自動緩存指定深度內所有的字段。如果要訪問指定深度外的字段，Django會再次進行SQL查詢。
5.也接受無參數的調用，Django會盡可能深的遞歸查詢所有的字段。但注意有Django遞歸的限制和性能的浪費。
6.Django >= 1.7，鏈式調用的select_related相當於使用可變長參數。Django < 1.7，鏈式調用會導致前邊的select_related失效，只保留最后一個。