【工具】
SystemTap是Linux下的動態跟蹤工具，可以方便的監控、跟蹤運行中的程序或Linux內核操作，我們通過寫SystemTap腳本（與C語言類似），編譯為內核模塊，然后加載到內核中運行，它帶來的性能損耗比較小。
【兩個應用舉例】
一、 分析SQL語句在執行各個階段的消耗
比如我們想統計一句SQL在解析階段的執行時間，可以在mysqld進程的對應parse_sql函數上加探測點，統計函數執行時間
腳本如下：
示例如下，當前QPS約1.6W，包含了SQL執行過程中解析、redo、binlog、undo、網絡、IO讀、IO寫上的消耗，由於涉及的函數較多，這部分后續還需要整理完善。
也可以用來分析一句SQL的執行性能
二、SQL執行時間統計分布
對於應用來說，主要關心數據庫的吞吐量和響應時間，下面從應用負載的角度去衡量，服務器上當前執行SQL語句的性能分布情況
下圖是1秒聚合的SQL語句的執行時間分布圖，表示大部分SQL的執行時間在128us以下
【性能開銷】
用sysbench做了簡單壓測，並發8線程時，運行stap腳本QPS從3.5W降到3.3W，性能損耗約6%；當並發32線程時，運行stap腳本QPS從9W降到7W，性能損耗約22%
【應用場景】
Systemtap功能非常強大，可以對mysqld進程下近25000個函數以及kernel下35000個函數自定義腳本進行跟蹤統計，可用來分析內存、CPU、IO、網絡等各種問題。
SystemTap的使用可以參考下面的文章：
1、聽阿里雲CDN安防技術專家金九講SystemTap使用技巧
https://yq.aliyun.com/articles/174916?utm_content=m_28902
2、巧用Systemtap注入延遲模擬IO設備抖動
http://blog.yufeng.info/archives/2935
3、MYSQL數據庫網卡軟中斷不平衡問題及解決方案
http://blog.yufeng.info/archives/2037
