項目中記錄影響性能的緩慢數據庫查詢

如果程序性能隨着時間推移不斷降低，那很有可能是因為數據庫查詢變慢了，隨着數據庫規模的增長，這一情況還會變得更糟。優化數據庫有時很簡單，需要在程序和數據庫之間加入緩存。大多數數據庫查詢語言都提供了explain語句，用來顯示數據庫執行查詢時采取的步驟。從這些步驟中，我們經常能發現數據庫或索引設計的不足之處。過 ，在開始優化查詢之前，我們必須要知道哪些查詢是值得優化的。在一次典型請求中，可能要執行多條數據庫查詢，所以經常很難分辨哪一條查詢較慢。Flask-SQLAlchemy提供了一個選項，可以記錄請求中執行的與數據庫查詢相關的統計數字。                                                                     

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　——Flask Web開發：基於Python的Web應用開發實戰

 

具體操作步驟如下：

　　1.設置語句查詢最低時間值 　　

app.config['FLASKY_DB_QUERY_TIMEOUT']=0.00000000001

   2.在每次api請求結束后，判斷每條查詢語句執行時間是否低於設定的值，如果低於，則記錄下查詢語句相關信息。

@app.after_request
def after_request(response):
    #錄影響性能的緩慢數據庫查詢
    for query in get_debug_queries():
        if query.duration >= app.config['FLASKY_DB_QUERY_TIMEOUT']:
            print '#####Slow query:%s \nParameters:%s \nDuration:%fs\nContext:%s\n #####'% \
            (query.statement, query.parameters, query.duration,query.context)
    return response

其中 (query.statement, query.parameters, query.duration,query.context) 屬性含義如圖：　　

 

全部代碼如下：

#coding:utf8
from flask import Flask, jsonify
import time

from flask_sqlalchemy import SQLAlchemy, get_debug_queries

db = SQLAlchemy()
app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI']='mysql://root:password@127.0.0.1:3306/database_name?charset=utf8'
app.config['SQLALCHEMY_COMMIT_ON_TEARDOWN']=True
app.config['SECRET_KEY']='rgc is a good boy!hehe!'
# 啟用緩慢查詢記錄功能
# app.config['SQLALCHEMY_RECORD_QUERIES']=True
app.config['FLASKY_DB_QUERY_TIMEOUT']=0.00000000001
db.init_app(app)

class User(db.Model):
    __tablename__ = 'user'
    id = db.Column('id', db.Integer, primary_key=True, autoincrement=True)
    email = db.Column('email', db.String(64), unique=True)  # 郵箱

    def __init__(self, email):
        self.email = email

    def to_dict(self):
        output_dict = {}
        output_dict.update(self.__dict__)
        if "_sa_instance_state" in output_dict:
            del output_dict['_sa_instance_state']
        return output_dict

@app.teardown_request
def handle_teardown_request(ex):
    db.session.remove()

@app.after_request
def after_request(response):
    #錄影響性能的緩慢數據庫查詢
    for query in get_debug_queries():
        if query.duration >= app.config['FLASKY_DB_QUERY_TIMEOUT']:
            print '#####Slow query:%s \nParameters:%s \nDuration:%fs\nContext:%s\n #####'% \
            (query.statement, query.parameters, query.duration,query.context)
    return response

@app.route('/users/<email>')
def line_test(email):
    result_id=db.session.query(User.id).filter_by(email=email).first()
    return jsonify({'code':200,'email':email,'id':result_id[0]})

if __name__=='__main__':
    app.run(debug=True)

運行結果如下：

 * Detected change in '/home/rgc/baidu_eye/carrier/test/flask_test_mongo.py', reloading
 * Restarting with reloader
#####Slow query:SELECT user.id AS user_id 
FROM user 
WHERE user.email = %s 
 LIMIT %s 
Parameters:('[e-mail]', 1) 
Duration:0.000331s
Context:/home/rgc/baidu_eye/carrier/test/flask_test_mongo.py:47 (line_test)
 #####
127.0.0.1 - - [07/Mar/2018 18:37:05] "GET /users/[e-mail] HTTP/1.1" 200 -

通過此方式，把查詢緩慢的數據記錄到日志中，便可以進行針對性的數據庫優化，提升用戶體驗。

注意：此方法 必須開啟 debug 模式