Django緩存系統


在動態網站中,用戶每次請求一個頁面,服務器都會執行以下操作:查詢數據庫,渲染模板,執行業務邏輯,最后生成用戶可查看的頁面。

這會消耗大量的資源,當訪問用戶量非常大時,就要考慮這個問題了。

緩存就是為了防止重復計算,把那些消耗了大量資源的結果保存起來,下次訪問時就不用再次計算了。緩存的邏輯:

given a URL, try finding that page in the cache
if the page is in the cache:
    return the cached page
else:
    generate the page
    save the generated page in the cache (for next time)
    return the generated page

Django提供了不同粒度的緩存:你可以緩存某個頁面,也可以只緩存很難計算、很消耗資源的某個部分,或者直接緩存整個網站。

Django也可以和一些”下游”緩存一起協作,例如Squid和基於瀏覽器的緩存,這些類型的緩存你不直接控制,但是你可以提供給他們站點哪部分應該被緩存和怎樣被緩存(通過HTTP headers)。

設置緩存

在settings中的CACHES中設置緩存,下面是幾個可用的緩存選項:

Memcached

Django目前原生支持的最快最有效的緩存系統。要使用Memcached,需要下載Memcached支持庫,一般是python-memcached或者pylibmc

然后設置BACKEND為django.core.cache.backends.memcached.MemcachedCache(使用python-memcached時)或者django.core.cache.backends.memcached.PyLibMCCache(使用pylibmc時)。

設置LOCATION為ip:port或者unix:path。例如:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': '127.0.0.1:11211',
    }
}

或者

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': 'unix:/tmp/memcached.sock',
    }
}

當使用pylibmc時,去掉unix:/前綴:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
        'LOCATION': '/tmp/memcached.sock',
    }
}

還可以在多台機器上運行Memcached進程,程序將會把這組機器當作一個單獨的緩存,而不需要在每台機器上復制緩存值:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': [
            '172.19.26.240:11211',
            '172.19.26.242:11212',
            '172.19.26.244:11213',
        ]
    }
}

由於Memcached是基於內存的緩存,數據只存儲在內存中,如果服務器死機的話數據會丟失,所以不要把內存緩存作為唯一的數據存儲方法。

Database caching

Django也可以把緩存數據存儲在數據庫中。

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.db.DatabaseCache',
        'LOCATION': 'my_cache_table',
    }
}

LOCATION為數據庫中table的名字,任意起,在數據庫中未被使用過即可以。

創建cache table:

python manage.py createcachetable

使用多數據庫時,也需要為cache table寫Router:

class CacheRouter(object):
    """A router to control all database cache operations"""

    def db_for_read(self, model, **hints):
        "All cache read operations go to the replica"
        if model._meta.app_label == 'django_cache':
            return 'cache_replica'
        return None

    def db_for_write(self, model, **hints):
        "All cache write operations go to primary"
        if model._meta.app_label == 'django_cache':
            return 'cache_primary'
        return None

    def allow_migrate(self, db, app_label, model_name=None, **hints):
        "Only install the cache model on primary"
        if app_label == 'django_cache':
            return db == 'cache_primary'
        return None

Filesystem caching

也可以使用文件來存儲緩存數據。

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
        'LOCATION': '/var/tmp/django_cache',
    }
}

LOCATION為緩存數據存儲目錄。

windows中:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
        'LOCATION': 'c:/foo/bar',
    }
}

Local-memory caching

Django默認使用的緩存系統,數據存儲在本地內存中:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
        'LOCATION': 'unique-snowflake',
    }
}

Dummy caching (for development)

開發時使用的:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.dummy.DummyCache',
    }
}

Using a custom cache backend

也可以使用其它的緩存系統,比如Redis,django-redis地址https://github.com/niwinz/django-redis

下載:pip install django-redis

設置:

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
        }
    }
}

Cache arguments

CACHES設置中有幾個額外的參數:

TIMEOUT:緩存超時時間,默認為300s,可以設置為None,即永不超時。

OPTIONS : locmem, filesystem和database緩存系統這些有自己的剔除策略的系統有以下的參數:

    MAX_ENTRIES : 緩存中存放的最大條目數,大於這個數時,舊的條目將會被刪除,默認為300.

    CULL_FREQUENCY:當達到MAX_ENTRIES的時候,被接受的訪問的比率。實際的比率是1/cull_frequency,所以設置為2就是在達到max_entries時去除一半數量的緩存,設置為0意味着達到max_entries時,緩存將被清空。這個值默認是3。

KEY_PREFIX:一個會自動列入緩存key值的的字符串。

VERSION:緩存key值生成時使用的版本數字。

KEY_FUNCTION:key值最終生成所使用的方法。

緩存網站

要緩存整個網站,首先添加兩個中間件:

MIDDLEWARE = [
    'django.middleware.cache.UpdateCacheMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.cache.FetchFromCacheMiddleware',
]

注意update中間件要放在首位,fetch中間件放在最后。

在settings中添加以下值:

CACHE_MIDDLEWARE_ALIAS:存儲用的緩存別名

CACHE_MIDDLEWARE_SECONDS:頁面被緩存的時間

CACHE_MIDDLEWARE_KEY_PREFIX:當緩存被不同的站點使用時,用來防止緩存key值沖突的,一般設為站點名字。

FetchFromCacheMiddleware中間件用來緩存通過GET和HEAD方法獲取的狀態碼為200的響應。同一個url,帶有不同的查詢字符串,會當做不同的頁面分別緩存。

UpdateCacheMiddleware中間件在響應HttpResponse中設置幾個headers:

設置Last-Modified為頁面最新的刷新時間,設置Expires為過期時間(現在時間加CACHE_MIDDLEWARE_SECONDS),設置Cache-Control頁面最大有效期(CACHE_MIDDLEWARE_SECONDS)。

views邏輯函數也可以自己設置過期時間:

使用django.views.decorators.cache.cache_control()設置緩存過期時間,使用django.views.decorators.cache.never_cache()禁止緩存。

緩存頁面

使用django.views.decorators.cache.cache_page()來緩存某個頁面:

from django.views.decorators.cache import cache_page

@cache_page(60 * 15)
def my_view(request):
    ...

60*15是緩存15分鍾。

cache參數可以設置使用CACHES中的哪一個cache系統,默認是default:

@cache_page(60 * 15, cache="special_cache")
def my_view(request):
    ...

key_prefix參數和CACHE_MIDDLEWARE_KEY_PREFIX設置起得作用相同:

@cache_page(60 * 15, key_prefix="site1")
def my_view(request):
    ...

可以在url中使用此方法:

from django.views.decorators.cache import cache_page

urlpatterns = [
    url(r'^foo/([0-9]{1,2})/$', cache_page(60 * 15)(my_view)),
]

模板片段緩存

{% load cache %}
{% cache 500 sidebar %}
    .. sidebar ..
{% endcache %}

{% cache %}模板標簽會緩存block內容,至少包括兩個參數:緩存時間和緩存片段的name。

可以根據變化的動態數據為一個片段緩存不同的copies:

{% load cache %}
{% cache 500 sidebar request.user.username %}
    .. sidebar for logged in user ..
{% endcache %}

CACHE API

根據CACHES設置中的cache別名獲取cache系統:

>>> from django.core.cache import caches
>>> cache1 = caches['myalias']
>>> cache2 = caches['myalias']
>>> cache1 is cache2
True

獲取默認default的cache:

>>> from django.core.cache import cache

基本用法set(key, value, timeout) 和get(key)::

>>> cache.set('my_key', 'hello, world!', 30)
>>> cache.get('my_key')
'hello, world!'

key為字符串,value為 picklable的python對象。timeout設置為None時,緩存永不過時,設置為0時不緩存。

 設置Vary header

Django默認是使用url地址作為cache的key值的,也就是對相同的url請求會返回相同的緩存。如果想根據不同的請求首部字段(比如cookie,  language, user-agent)緩存不同的內容,可以設置Vary首部字段。

from django.views.decorators.vary import vary_on_headers

@vary_on_headers('User-Agent')
def my_view(request):
    ...

上述代碼會為不同的user-agent設置單獨的緩存。也可以傳多個headers:

@vary_on_headers('User-Agent', 'Cookie')
def my_view(request):
    ...

上述代碼當user-agent和cookie都相同時才會有相同的緩存。

cookie是比較常用的,有單獨的裝飾器,下面代碼是相通的:

@vary_on_cookie
def my_view(request):
    ...

@vary_on_headers('Cookie')
def my_view(request):
    ...

Cache-Control頭部

可以使用cache_control裝飾器來設定Cache-Control頭部。

設置對特定的用戶提供緩存服務:

from django.views.decorators.cache import cache_control

@cache_control(private=True)
def my_view(request):
    ...

設置時間:

from django.views.decorators.cache import cache_control

@cache_control(max_age=3600)
def my_view(request):
    ...

等等,可用的Cache-Control指令(IANA registry)都可使用。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM