Django查詢數據庫性能優化

現在有一張用戶信息的數據表,表中記錄了10個用戶的姓名,昵稱,年齡,工作等信息,

models文件

from django.db import models
    
    class Job(models.Model):
        title=models.CharField(max_length=32)
    
    class UserInfo(models.Model):
        username=models.CharField(max_length=32)
        nickname=models.CharField(max_length=32)
        job=models.ForeignKey(to="Job",to_field="id",null=True)

　　數據表中記錄

 

 　　另外一張表中記錄用戶工作表,關聯用戶的工作字段

 

 　　要查出每個用戶的用戶名,昵稱和工作信息

def index(request):
        user_list=models.UserInfo.objects.all()
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
    
        for user in user_list:
    
            print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    
        return render(request,'index.html')

　　打印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

　　在服務端進行這些操作,這些查詢語句的性能是很低的,遍歷取出這10個用戶的姓名,昵稱,工作等重要信息要在兩張數據庫中執行11次查詢操作,首先只從user表中查出所有用戶記錄,需要執行一次查詢操作,查詢job數據表,每次循環一次用戶信息的列表,都需要從job表中查詢一次用戶的工作信息,數據表中總共記錄了10條用戶記錄,所以還需要循環10次才能從job表中查詢完成所有用戶的工作信息,所以一共需要執行11次數據庫查詢操作,那么有么有好的辦法能夠提高數據庫查詢的效率?

def index(request):
        user_list=models.UserInfo.objects.values("username","nickname","job")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print(user["username"], user["nickname"], user["job"])
    
        return render(request,'index.html')

　　運行程序,在服務端后台打印信息:

SELECT "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [{'username': 'user1', 'nickname': 'user1', 'job': 1}, {'username': 'user2', 'nickname': 'user2', 'job': 2}, {'username': 'user3', 'nickname': 'user3', 'job': 3}, {'username': 'user4', 'nickname': 'user4', 'job': 1}, {'username': 'user5', 'nickname': 'user5', 'job': 2}, {'username': 'user6', 'nickname': 'user6', 'job': 3}, {'username': 'user7', 'nickname': 'user7', 'job': 1}, {'username': 'user8', 'nickname': 'user8', 'job': 2}, {'username': 'user9', 'nickname': 'user9', 'job': 3}, {'username': 'user10', 'nickname': 'user10', 'job': 2}]>
user1 user1 1
user2 user2 2
user3 user3 3
user4 user4 1
user5 user5 2
user6 user6 3
user7 user7 1
user8 user8 2
user9 user9 3
user10 user10 2

　　可以看到,查詢的user_list依然是一個queryset,但是這個對象集合內部確是一個字典,而且這次的查詢只執行了兩次數據庫查詢操作,通過這種方式,只需要兩次查詢就能得到想要的數據,優化了數據庫的查詢效率

 

Django數據庫優化之select_related主動連表查詢

　　上面的例子中,去對象的集合的時候,難道只能查詢當前數據表,不能查詢其他數據表嗎?當然不是,在這里還可以使用select_related這個方法,在第一次查詢的時候,在all()后面加上一個select_related來主動的連表查詢,在創建這兩張數據表時,job在user數據表中作為一個foreignkey存在的,所以加上select_后不僅只查詢到了user數據庫的記錄,同時也查詢了job數據表中的記錄

def index(request):
        user_list=models.UserInfo.objects.all().select_related("job")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    
        return render(request,'index.html')

　　服務端打印結果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id", "app01_job"."id", "app01_job"."title" FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

　　查看打印出來的查詢語句,其中有:

"FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")"

　　用來做聯表查詢的,只需要一次就可以查詢到所有數據了

　　同樣的,如果還想繼續聯表,例如在job表中再加一個外鍵字段desc,只需要在查詢語句中把desc加入進來就可以了

 user_list=models.UserInfo.objects.all().select_related("job__desc")

　　這樣一來就把三張表聯系起來做連表查詢了,但是一定要確保所加字段為foreignkey,如果使用類似models.userinfo.objects.all()語句進行查詢時,不要做跨表查詢,只查詢當前表中有的數據,否則查詢語句的性能就會下降很多,如果想查其他表中的數據就加上select_related(foreignkey字段名);如果想取多個foreignkey字段的數據,就可以使用select_related(foreignkey字段1, foreignkey字段2,...) 連表查詢性能也會降低,select_related就是用來主動聯表查詢的.

 

Django數據庫優化操作之perfetch_related非主動聯表查詢

perfetch_related 方法是非主動聯表查詢,又不進行很多查詢語句的一種折衷方案

修改視圖函數index

def index(request):
    
        user_list=models.UserInfo.objects.all().prefetch_related("job")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    
        return render(request,'index.html')

　　后端打印結果:

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

　　使用perfetch_related方法未聯表執行兩次查詢操作,先查用戶表中的所有數據,把用戶表中的所有job_id全部查詢出來,並執行去重操作;結果查詢出用戶的3種工作,接下來執行select語句的查詢job數據表中的title字段,這樣一來就執行了兩次數據表的查詢操作,在perfetch_related方法中加入一個字段job1,執行了兩次數據庫查詢操作;

 

Django數據庫優化操作之only方法:

def index(request):
        user_list=models.UserInfo.objects.all().only("username")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print("%s-->%s" %(user.username,user.nickname))
    
        return render(request,'index.html')

　　服務端后台打印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."username" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1
user2-->user2
user3-->user3
user4-->user4
user5-->user5
user6-->user6
user7-->user7
user8-->user8
user9-->user9
user10-->user10

　　執行查詢操作的時候加上only方法,其查詢結果還是一個對象集合,但是從打印出的查詢語句可以看到,執行查詢操作時,只查詢了用戶的id字段和username字段,並沒有查詢nickname字段,但是在后面的循環中,又可以打印用戶的nickname信息,為什么呢,因為執行了一次查詢的請求操作,由此得知,查詢操作使用了only方法,在only方法加入哪個查詢字段,在后面就是用哪個查詢字段,加only參數是從查詢結果中只取某個字段,而另外一個defer方法則是從查詢解雇中排除某個字段.

 

Django數據庫優化之defer方法

修改defer視圖函數

def index(request):
    user_list=models.UserInfo.objects.all().defer("username")

    print(user_list.query)      # 打印查詢時使用的語句
    print(type(user_list))      # 打印查詢結果的數據類型
    print("user_list:",user_list)

    for user in user_list:

        print("%s" % user.nickname)

    return render(request,'index.html')

　　服務端打印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1
user2
user3
user4
user5
user6
user7
user8
user9
user10

　　通過打印的查詢語句可以知道,使用defer方法后,只從數據庫中查詢了用戶id字段和用戶nickname字段操作,並沒有查詢username字段,由此也可以提高Django查詢數據庫的性能