通過CONN_MAX_AGE優化Django的數據庫連接

上周對我們用Django+Django-rest-framework提供的一套接口進行了壓力測試。壓測的過程中，收到DBA通知——數據庫連接數過多，希望我們優化下程序。具體症狀就是，如果設置mysql的最大連接數為1000，壓測過程中，很快連接數就會達到上限，調整上限到2000，依然如此。

Django的數據庫連接

Django對數據庫的鏈接處理是這樣的，Django程序接受到請求之后，在第一訪問數據庫的時候會創建一個數據庫連接,直到請求結束，關閉連接。下次請求也是如此。因此，這種情況下，隨着訪問的並發數越來越高，就會產生大量的數據庫連接。也就是我們在壓測時出現的情況。

關於Django每次接受到請求和處理完請求時對數據庫連接的操作，最后會從源碼上來看看。

使用CONN_MAX_AGE減少數據庫請求

上面說了，每次請求都會創建新的數據庫連接，這對於高訪問量的應用來說完全是不可接受的。因此在Django1.6時，提供了持久的數據庫連接，通過DATABASE配置上添加CONN_MAX_AGE來控制每個連接的最大存活時間。具體使用可以參考最后的鏈接。

這個參數的原理就是在每次創建完數據庫連接之后，把連接放到一個Theard.local的實例中。在request請求開始結束的時候，打算關閉連接時會判斷是否超過CONN_MAX_AGE設置這個有效期。這是關閉。每次進行數據庫請求的時候其實只是判斷local中有沒有已存在的連接，有則復用。

基於上述原因，Django中對於CONN_MAX_AGE的使用是有些限制的，使用不當，會事得其反。因為保存的連接是基於線程局部變量的，因此如果你部署方式采用多線程，必須要注意保證你的最大線程數不會多余數據庫能支持的最大連接數。另外，如果使用開發模式運行程序（直接runserver的方式），建議不要設置CONN_MAX_AGE，因為這種情況下，每次請求都會創建一個Thread。同時如果你設置了CONN_MAX_AGE，將會導致你創建大量的不可復用的持久的連接。

CONN_MAX_AGE設置多久

CONN_MAX_AGE的時間怎么設置主要取決於數據庫對空閑連接的管理，比如你的MySQL設置了空閑1分鍾就關閉連接，那你的CONN_MAX_AGE就不能大於一分鍾，不過DBA已經習慣了程序中的線程池的概念，會在數據庫中設置一個較大的值。

優化結果

了解了上述過程之后，配置了CONN_MAX_AGE參數，再次測試，終於沒有接到DBA通知，查看數據庫連接數，最大700多。

最好的文檔是代碼

Django的文檔上只是簡單得介紹了原理和使用方式，對於好奇的同學來說，這個顯然是不夠的。於是我也好奇的看了下代碼，把相關的片段貼到這里。

首先是一次請求開始和結束時對連接的處理

1. #### 請求開始
2. # django.core.handlers.wsgi.py
3. class WSGIHandler(base.BaseHandler):
4. initLock = Lock()
5. request_class = WSGIRequest
7. def __call__(self, environ, start_response):
8. # ..... 省略若干代碼
9. # 觸發request_started這個Signal
10. signals.request_started.send(sender=self.__class__, environ=environ)
11. try:
12. request = self.request_class(environ)
13. except UnicodeDecodeError:
14. logger.warning('Bad Request (UnicodeDecodeError)',
15. exc_info=sys.exc_info(),
16. extra={
17. 'status_code': 400,
18. }
19. )
21. # 請求結束
23. class HttpResponseBase(six.Iterator):
24. """
25. An HTTP response base class with dictionary-accessed headers.
27. This class doesn't handle content. It should not be used directly.
28. Use the HttpResponse and StreamingHttpResponse subclasses instead.
29. """
31. def close(self):
32. for closable in self._closable_objects:
33. try:
34. closable.close()
35. except Exception:
36. pass
37. # 請求結束時觸發request_finished這個觸發器
38. signals.request_finished.send(sender=self._handler_class)

這里只是觸發，那么在哪對這些signal進行處理呢？

1. # django.db.__init__.py
2. from django.db.utils import ConnectionHandler
3. connections = ConnectionHandler()
5. # Register an event to reset saved queries when a Django request is started.
6. def reset_queries(**kwargs):
7. for conn in connections.all():
8. conn.queries_log.clear()
9. signals.request_started.connect(reset_queries)
11. # Register an event to reset transaction state and close connections past
12. # their lifetime.
13. def close_old_connections(**kwargs):
14. for conn in connections.all():
15. conn.close_if_unusable_or_obsolete()
16. signals.request_started.connect(close_old_connections)
17. signals.request_finished.connect(close_old_connections)

在這里對觸發的signal進行了處理，從代碼上看，邏輯就是，遍歷所有已存在的鏈接，關閉不可用的連接。

再來看ConnectionHandler代碼:

1. class ConnectionHandler(object):
3. def __init__(self, databases=None):
4. """
5. databases is an optional dictionary of database definitions (structured
6. like settings.DATABASES).
7. """
8. # databases來自settings對數據庫的配置
9. self._databases = databases
10. self._connections = local()
12. @cached_property
13. def databases(self):
14. if self._databases is None:
15. self._databases = settings.DATABASES
16. if self._databases == {}:
17. self._databases = {
18. DEFAULT_DB_ALIAS: {
19. 'ENGINE': 'django.db.backends.dummy',
20. },
21. }
22. if DEFAULT_DB_ALIAS not in self._databases:
23. raise ImproperlyConfigured("You must define a '%s' database" % DEFAULT_DB_ALIAS)
24. return self._databases
26. def __iter__(self):
27. return iter(self.databases)
29. def all(self):
30. # 調用__iter__和__getitem__
31. return [self[alias] for alias in self]
33. def __getitem__(self, alias):
34. if hasattr(self._connections, alias):
35. return getattr(self._connections, alias)
37. self.ensure_defaults(alias)
38. self.prepare_test_settings(alias)
39. db = self.databases[alias]
40. backend = load_backend(db['ENGINE'])
41. # 關鍵在這了，這個就是conn
42. conn = backend.DatabaseWrapper(db, alias)
43. # 放到 local里
44. setattr(self._connections, alias, conn)
45. return conn

這個代碼的關鍵就是生成對於backend的conn，並且放到local中。backend.DatabaseWrapper繼承了db.backends.init.BaseDatabaseWrapper類的 close_if_unusable_or_obsolete() 的方法，來直接看下這個方法。

1. class BaseDatabaseWrapper(object):
2. """
3. Represents a database connection.
4. """
6. def connect(self):
7. """Connects to the database. Assumes that the connection is closed."""
8. # 連接數據庫時讀取配置中的CONN_MAX_AGE
9. max_age = self.settings_dict['CONN_MAX_AGE']
10. self.close_at = None if max_age is None else time.time() + max_age
12. def close_if_unusable_or_obsolete(self):
13. """
14. Closes the current connection if unrecoverable errors have occurred,
15. or if it outlived its maximum age.
16. """
17. if self.connection is not None:
18. # If the application didn't restore the original autocommit setting,
19. # don't take chances, drop the connection.
20. if self.get_autocommit() != self.settings_dict['AUTOCOMMIT']:
21. self.close()
22. return
24. # If an exception other than DataError or IntegrityError occurred
25. # since the last commit / rollback, check if the connection works.
26. if self.errors_occurred:
27. if self.is_usable():
28. self.errors_occurred = False
29. else:
30. self.close()
31. return
33. if self.close_at is not None and time.time() >= self.close_at:
34. self.close()
35. return

參考

https://docs.djangoproject.com/en/1.6/ref/databases/#persistent-database-connections https://github.com/django/django/blob/master/django/core/handlers/wsgi.py#L164 https://github.com/django/django/blob/master/django/http/response.py#L310 https://github.com/django/django/blob/master/django/db/init.py#L62 https://github.com/django/django/blob/master/django/db/utils.py#L252 https://github.com/django/django/blob/master/django/db/backends/init.py#L383