當我們需要對應用程序進行系能分析時，我們通常可以使用perf或者火焰圖。 但是這些工具通常只能定性問題，發現那些函數占用cpu較多，需要優化。但是給不出定量的數據， 比如這個函數的耗時情況，它耗時1ms還是5ms。
SystemTap
因此在不在代碼中加入統計耗時的代碼的情況，我們可以使用SystemTap來統計應用程序的耗時情況。
SystemTap可以跟蹤內核函數和用戶態進程，當我們跟蹤用戶態進程時，需要使用其process模塊。
查找函數符號
很多情況下，代碼在執行時，其函數符號並不一定是代碼中寫的名稱，因此我們可以使用以下腳本打印 出應用程序中在調用的函數符號。
probe process("/data0/app").function("*") {
println(probefunc())
}
然后執行
stap echo.stp
其會打印出/data0/app這個程序運行時調用到的各個函數名，此處最好填絕對路徑。我們可以從中找到 我們需要統計的函數名稱。
統計函數耗時
我們可以使用SystemTap內置的直方圖來展示耗時的分布。我們有兩種直方圖函數可以使用:
@hist_linear(v, start, stop, interval) # 打印start-stop區間interval間隔的直方圖
@hist_log(v) # 打印以2為底指數分布的直方圖
統計腳本：
global sends # 聲明全局的統計存儲容器
probe process("/data0/app").function("git.intra.xx.send").return { # function中為函數名，同時支持通配符*等，在該函數return時計算耗時
sends <<< gettimeofday_us() - @entry(gettimeofday_us()) # 以微秒精度來統計，entry方法將一個表達式放置於函數入口處
}
probe timer.s(10) { # 每10s打印一次直方圖
print(@hist_log(sends))
}
然后執行stap elaspe.stp即可獲得每10秒統計的結果，如果希望每10秒清空重新統計的話， 可以將打印函數修改為：
probe timer.s(10) { # 每10s打印一次直方圖
print(@hist_log(sends))
delete sends # 清空數據
}
systemtap 工作原理
systemtap 的核心思想是定義一個事件（event），以及給出處理該事件的句柄（Handler）。當一個特定的事件發生時，內核運行該處理句柄，就像快速調用一個子函數一樣，處理完之后恢復到內核原始狀態。這里有兩個概念：
- 事件（Event）：systemtap 定義了很多種事件，例如進入或退出某個內核函數、定時器時間到、整個systemtap會話啟動或退出等等。
- 句柄（Handler）：就是一些腳本語句，描述了當事件發生時要完成的工作，通常是從事件的上下文提取數據，將它們存入內部變量中，或者打印出來。
Systemtap 工作原理是通過將腳本語句翻譯成C語句，編譯成內核模塊。模塊加載之后，將所有探測的事件以鈎子的方式掛到內核上，當任何處理器上的某個事件發生時，相應鈎子上句柄就會被執行。最后，當systemtap會話結束之后，鈎子從內核上取下，移除模塊。整個過程用一個命令 stap 就可以完成。 上面只是簡單的原理，更多背后的機理參考網上資料和相應的論文。 圖 systemtap 處理流程
systemtap官網： https://sourceware.org/systemtap/documentation.html