最近在做一個游戲數據統計后台,最基礎的功能是通過分析注冊登錄日志來展示用戶數據。在公司內部測試,用戶量很少,所以就沒有發現什么性能問題。但是這兩天一起放到真實的測試環境,用戶量噌噌地就涌進來了,從下午開始,在線人數的統計開始卡,幾秒鍾才返回數據;注冊人數的查詢速度還行。到了晚上,在線人數的統計基本上就加載超時打不開了。雖然不知他們游戲端那邊什么BUG,玩家那邊登錄經常出問題,導致在線人數和注冊人數並不是很多。但是就這一點數據量我這邊查詢的速度也不行,這就很尷尬了。
現在他們那邊在查游戲的BUG,我這邊也在看統計后台的代碼到底性能出在哪里。首先說明一下,我統計用的數據是從庫,他們游戲用的是主庫,再說我這邊管理員人數就幾個,不可能會影響到游戲服的性能問題。
今天項目組長把數據庫都導過來到公司內的服務器。我拷了一份到本機,看看統計平台的性能問題出在哪里。然后卻發現,居然連注冊統計都非常卡,服務器上是兩秒左右返回,本機要二十幾秒,還經常超時(PHP的默認配置是30秒超時);在線統計的就不用說了肯定打不開。看了一下數據庫,當天的注冊記錄也就 3500 條左右(有假數據),每五分鍾統計一次,一天就是統計 288 次。當然這里肯定不是循環查詢數據庫288次,那樣會被罵死的吧。
統計時間段內的注冊數,邏輯也非常簡單,就是每個時間段遍歷一次數據,比較時間大小,符合就+1。但是為什么這么簡單的邏輯,也就一百萬次循環,怎么會跑出了足足半分鍾的時間那么久呢?
關鍵問題就出在於 時間比較這里了,我們都知道,時間戳是比較時間大小的一個比較科學的方法,而數據庫里記錄的時間一般都是以 YYYY-mm-dd HH:ii:ss 的形式,PHP里有strtotime的函數轉換成時間戳。然而在288個for * 3500個foreach 的加持之后,這里的執行時間長達半分鍾。
$nowDayDT = strtotime( date('Y-m-d') ); $__startT = microtime(TRUE); for($i=0; $i<$allTime; $i += $gapTime){ $count = 0; //用於數據比較的 $startDT = $nowDayDT+$i; $endDT = $nowDayDT+$i+$gapTime; //用於顯示的 $xAxis1 = date('H:i', $nowDayDT+$i); $xAxis2 = date('H:i', $nowDayDT+$i+$gapTime); foreach($rawData as $line){ $time = strtotime($line['log_dt']); if( $startDT<=$time && $time<$endDT ){ $count ++; } } $resArr[] = [ 'date'=>$xAxis1.'~'.$xAxis2, 'number'=>$count ]; } echo microtime(TRUE)-$__startT;
那這樣的話,基本上是沒辦法再用這個strtotime的函數的了,那還有什么辦法比較時間大小呢?答案很簡單粗暴,PHP里面可以直接比較兩個日期時間字符串!所以改過后的代碼如下。然后現在的運行時間大概是 0.3秒

$__startT = microtime(TRUE); for($i=0; $i<$allTime; $i += $gapTime){ $count = 0; //用於數據比較的 $startDT = date('Y-m-d H:i:s', $nowDayDT+$i); $endDT = date('Y-m-d H:i:s', $nowDayDT+$i+$gapTime); //用於顯示的 $xAxis1 = date('H:i', $nowDayDT+$i); $xAxis2 = date('H:i', $nowDayDT+$i+$gapTime); foreach($rawData as $line){ $time = $line['log_dt']; if( $startDT<=$time && $time<$endDT ){ $count ++; } } $resArr[] = [ 'date'=>$xAxis1.'~'.$xAxis2, 'number'=>$count ]; } echo microtime(TRUE)-$__startT;
PHP里兩個時間字符串只能比較大小,不能計算時間差,如果要做類似於 在線時長 的統計的話,可以在讀取數據庫的時候轉換,mysql的用法是 SELECT xx, unix_timestamp(log_dt) AS log_dt_ts FROM xxx;
遍歷再優化
大家可能發現一個問題,for 里面嵌套一個 foreach,這性能有點擔憂,其中里面的 foreach 有必要完全遍歷嗎?其實是不必的。只要查SQL數據的時候,按時間排序排出來。優化后的時間比較算法如下:
for{ ...
foreach($rawData as $line){ $time = $line['log_dt'];//strtotime($line['log_dt']); //優化算法計算 if($time<$startDT) continue; //小於開始時間則跳過 if($time>=$endDT) break; //大於結束時間則結束 $count ++; //否則為符合條件 //原始的算法 // if( $startDT<=$time && $time<$endDT ){ // $count ++; // } }
...}
這里巧用了 continue 和 break 關鍵字,用於跳過一次循環和結束整個循環。這次的話,一天中剛開始的時間統計中,后面很大一部分數據的都可以直接跳過。最后總遍歷時間縮短為約0.12秒 。