Django 中的緩存問題

本文轉載自查看原文 2019-07-08 17:14 624 Django

Django 中的緩存問題

簡單介紹

在動態網站中,用戶所有的請求,服務器都會去數據庫中進行相應的增,刪,查,改,渲染模板,執行業務邏輯,最后生成用戶看到的頁面.

當一個網站的用戶訪問量很大的時候,每一次的的后台操作,都會消耗很多的服務端資源,所以必須使用緩存來減輕后端服務器的壓力.

緩存是將一些常用的數據保存內存或者memcache中,在一定的時間內有人來訪問這些數據時,則不再去執行數據庫及渲染等操作,而是直接從內存或memcache的緩存中去取得數據,然后返回給用戶.

一、Django 中的緩存方式

開發調試緩存
內存緩存
文件緩存
數據庫緩存
Memcache緩存(使用python-memcached模塊)
Memcache緩存(使用pylibmc模塊)

經常使用的有文件緩存和Mencache緩存

二、緩存粒度

全棧緩存
單頁面緩存
局部緩存

三、如何使用緩存

3.2.1 開發調試(此模式為開發調試使用,實際上不執行任何操作)

settings.py文件配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.dummy.DummyCache',  # 緩存后台使用的引擎
  'TIMEOUT': 300,            # 緩存超時時間（默認300秒，None表示永不過期，0表示立即過期）
  'OPTIONS':{
   'MAX_ENTRIES': 300,          # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,          # 緩存到達最大個數之后，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  },
 }
}

3.2.2 內存緩存(將緩存內容保存至內存區域中)

settings.py文件配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',  # 指定緩存使用的引擎
  'LOCATION': 'unique-snowflake',         # 寫在內存中的變量的唯一值 
  'TIMEOUT':300,             # 緩存超時時間(默認為300秒,None表示永不過期)
  'OPTIONS':{
   'MAX_ENTRIES': 300,           # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,          # 緩存到達最大個數之后，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }  
 }
}

3.2.3 文件緩存(把緩存數據存儲在文件中)

settings.py文件配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache', #指定緩存使用的引擎
  'LOCATION': '/var/tmp/django_cache',        #指定緩存的路徑
  'TIMEOUT':300,              #緩存超時時間(默認為300秒,None表示永不過期)
  'OPTIONS':{
   'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,           # 緩存到達最大個數之后，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }
 }   
}

3.2.4 數據庫緩存(把緩存數據存儲在數據庫中)

settings.py文件配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.db.DatabaseCache',  # 指定緩存使用的引擎
  'LOCATION': 'cache_table',          # 數據庫表    
  'OPTIONS':{
   'MAX_ENTRIES': 300,           # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,          # 緩存到達最大個數之后，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }  
 }   
}

注意,創建緩存的數據庫表使用的語句:

python manage.py createcachetable

1.2.5 Memcache緩存(使用python-memcached模塊連接memcache)

Memcached是Django原生支持的緩存系統.要使用Memcached,需要下載Memcached的支持庫python-memcached或pylibmc.

settings.py文件配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache', # 指定緩存使用的引擎
  'LOCATION': '192.168.10.100:11211',         # 指定Memcache緩存服務器的IP地址和端口
  'OPTIONS':{
   'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,           # 緩存到達最大個數之后，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }
 }
}

LOCATION 也可以配置成如下：

'LOCATION': 'unix:/tmp/memcached.sock',   # 指定局域網內的主機名加socket套接字為Memcache緩存服務器
'LOCATION': [         # 指定一台或多台其他主機ip地址加端口為Memcache緩存服務器
 '192.168.10.100:11211',
 '192.168.10.101:11211',
 '192.168.10.102:11211',
]

3.2.6 Memcache緩存(使用pylibmc模塊連接memcache)

settings.py文件配置
 CACHES = {
  'default': {
   'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',  # 指定緩存使用的引擎
   'LOCATION':'192.168.10.100:11211',         # 指定本機的11211端口為Memcache緩存服務器
   'OPTIONS':{
    'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
    'CULL_FREQUENCY': 3,           # 緩存到達最大個數之后，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
   },  
  }
 }

LOCATION也可以配置成如下:

'LOCATION': '/tmp/memcached.sock',  # 指定某個路徑為緩存目錄
'LOCATION': [       # 分布式緩存,在多台服務器上運行Memcached進程,程序會把多台服務器當作一個單獨的緩存,而不會在每台服務器上復制緩存值
 '192.168.10.100:11211',
 '192.168.10.101:11211',
 '192.168.10.102:11211',
]

Memcached是基於內存的緩存,數據存儲在內存中.所以如果服務器死機的話,數據就會丟失,所以Memcached一般與其他緩存配合使用

四、Django中緩存的應用

Django提供了不同粒度的緩存,可以緩存某個頁面,可以只緩存一個頁面的某個部分,甚至可以緩存整個網站.

數據庫

class Book(models.Model):
    name=models.CharField(max_length=32)
    price=models.DecimalField(max_digits=6,decimal_places=1)

視圖函數

from django.views.decorators.cache import cache_page
import time
from .models import *

@cache_page(15)          #超時時間為15秒
def index(request):
　　t=time.time()      #獲取當前時間
　　bookList=Book.objects.all()
　　return render(request,"index.html",locals())

模板

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h3>當前時間:-----{{ t }}</h3>

<ul>
    {% for book in bookList %}
       <li>{{ book.name }}--------->{{ book.price }}$</li>
    {% endfor %}
</ul>

</body>
</html>

上面的例子是基於內存的緩存配置,基於文件的緩存該怎么配置呢??

更改settings.py的配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache', # 指定緩存使用的引擎
  'LOCATION': 'E:\django_cache',          # 指定緩存的路徑
  'TIMEOUT': 300,              # 緩存超時時間(默認為300秒,None表示永不過期)
  'OPTIONS': {
   'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,           # 緩存到達最大個數之后，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }
 }
}

然后再次刷新瀏覽器,可以看到在剛才配置的目錄下生成的緩存文件

通過實驗可以知道,Django會以自己的形式把緩存文件保存在配置文件中指定的目錄中.

全站使用緩存

既然是全站緩存,當然要使用Django中的中間件.

用戶的請求通過中間件,經過一系列的認證等操作,如果請求的內容在緩存中存在,則使用FetchFromCacheMiddleware獲取內容並返回給用戶

當返回給用戶之前,判斷緩存中是否已經存在,如果不存在,則UpdateCacheMiddleware會將緩存保存至Django的緩存之中,以實現全站緩存

# 緩存整個站點，是最簡單的緩存方法

# 在 MIDDLEWARE_CLASSES 中加入 “update” 和 “fetch” 中間件
MIDDLEWARE_CLASSES = (
    ‘django.middleware.cache.UpdateCacheMiddleware’, #第一
    'django.middleware.common.CommonMiddleware',
    ‘django.middleware.cache.FetchFromCacheMiddleware’, #最后
)
# “update” 必須配置在第一個
# “fetch” 必須配置在最后一個

修改settings 中的配置

MIDDLEWARE_CLASSES = (
    'django.middleware.cache.UpdateCacheMiddleware',   #響應HttpResponse中設置幾個headers
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.auth.middleware.SessionAuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    'django.middleware.clickjacking.XFrameOptionsMiddleware',
    'django.middleware.security.SecurityMiddleware',
    'django.middleware.cache.FetchFromCacheMiddleware',   #用來緩存通過GET和HEAD方法獲取的狀態碼為200的響應

)
CACHE_MIDDLEWARE_SECONDS=10

視圖函數：

from django.views.decorators.cache import cache_page
import time
from .models import *


def index(request):

     t=time.time()      #獲取當前時間
     bookList=Book.objects.all()
     return render(request,"index.html",locals())

def foo(request):
    t=time.time()      #獲取當前時間
    return HttpResponse("HELLO:"+str(t))

模板(index.html)：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h3 style="color: green">當前時間:-----{{ t }}</h3>

<ul>
    {% for book in bookList %}
       <li>{{ book.name }}--------->{{ book.price }}$</li>
    {% endfor %}
</ul>

</body>
</html>

4.3局部視圖緩存

例子,刷新頁面時,整個網頁有一部分實現緩存

views視圖函數

from django.views.decorators.cache import cache_page
import time
from .models import *
def index(request):
     t=time.time()      #獲取當前時間
     bookList=Book.objects.all()
     return render(request,"index.html",locals())

模板(index.html):

{% load cache %}
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
 <h3 style="color: green">不緩存:-----{{ t }}</h3>

{% cache 2 'name' %}
 <h3>緩存:-----:{{ t }}</h3>
{% endcache %}

</body>
</html>

四、如何提高網站的並發量

QPS：

前端處理--（主要是減少請求次數）
- 使用 CDN （靜態文件放在別人的服務器上面去）
  - CDN的全稱是Content Delivery Network，即內容分發網絡。CDN是構建在網絡之上的內容分發網絡，依靠部署在各地的邊緣服務器，通過中心平台的負載均衡、內容分發、調度等功能模塊，使用戶就近獲取所需內容，降低網絡擁塞，提高用戶訪問響應速度和命中率。CDN的關鍵技術主要有內容存儲和分發技術。CDN的基本原理是廣泛采用各種緩存服務器，將這些緩存服務器分布到用戶訪問相對集中的地區或網絡中，在用戶訪問網站時，利用全局負載技術將用戶的訪問指向距離最近的工作正常的緩存服務器上，由緩存服務器直接響應用戶請求。
  - 圖片防盜鏈--前端的請求頭 refer 信息（顯示前一個網站）
    - 可以挺過refer 控制
    - Nginx 處理
- 精靈圖(拼圖，多次請求變成一次請求)
- 頁面本地緩存
后端：
- nginx 擋在WSGI之前-nginx 的負載均衡后台服務做集群部署
  - 反向代理
  - 正向代理
- 進入到中間件過后 -----后台緩存在 process_request 里面寫
  - ---設置緩存的超時時間，保持緩存數據更新一致性的問題
- 數據庫的主從同步
- 數據庫的讀寫分離（用的比較多）
- 異步處理（celery：分布式的異步任務框架）
- 用性能高的語言去處理並發高的語言

TPS

反向代理

在計算機網絡中，反向代理是代理服務器的一種。服務器根據客戶端的請求，從其關聯的一組或多組后端服務器上獲取資源，然后再將這些資源返回給客戶端，客戶端只會得知反向代理的IP地址，而不知道在代理服務器后面的服務器簇的存在[1]。

與前向代理不同，前向代理作為客戶端的代理，將從互聯網上獲取的資源返回給一個或多個的客戶端，服務端（如Web服務器）只知道代理的IP地址而不知道客戶端的IP地址；而反向代理是作為服務器端（如Web服務器）的代理使用，而不是客戶端。客戶端借由前向代理可以間接訪問很多不同互聯網服務器（簇）的資源，而反向代理是供很多客戶端都通過它間接訪問不同后端服務器上的資源，而不需要知道這些后端服務器的存在，而以為所有資源都來自於這個反向代理服務器。

正向代理

正向代理:是一個位於客戶端和原始服務器(origin server)之間的服務器，為了從原始服務器取得內容，客戶端向代理發送一個請求並指定目標(原始服務器)，然后代理向原始服務器轉交請求並將獲得的內容返回給客戶端。客戶端才能使用正向代理。

集群和分布式

負載均衡

負載均衡建立在現有網絡結構之上，它提供了一種廉價有效透明的方法擴展網絡設備和服務器的帶寬、增加吞吐量、加強網絡數據處理能力、提高網絡的靈活性和可用性。
負載均衡（Load Balance）其意思就是分攤到多個操作單元上進行執行，例如Web服務器、FTP服務器、企業關鍵應用服務器和其它關鍵任務服務器等，從而共同完成工作任務。

輪詢：

輪詢（Polling）是一種CPU決策如何提供周邊設備服務的方式，又稱“程控輸入輸出”（Programmed I/O）。輪詢法的概念是：由CPU定時發出詢問，依序詢問每一個周邊設備是否需要其服務，有即給予服務，服務結束后再問下一個周邊，接着不斷周而復始。

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 django中的緩存單頁面緩存，局部緩存，全站緩存跨域問題的解決 Django中的緩存機制 Django中的緩存的配置與使用 django緩存優化中caches參數如何配置？ Django中配置用Redis做緩存和session django 中namespace的問題 django中iframe問題 Django之緩存 ionic中頁面緩存問題 JavaWeb項目開發中eclipse緩存問題