Spring Boot實現數據訪問計數器


1、數據訪問計數器

  在Spring Boot項目中,有時需要數據訪問計數器。大致有下列三種情形:

1)純計數:如登錄的密碼錯誤計數,超過門限N次,則表示計數器滿,此時可進行下一步處理,如鎖定該賬戶。

2)時間滑動窗口:設窗口寬度為T,如果窗口中尾幀時間與首幀時間差大於T,則表示計數器滿。

  例如使用redis緩存時,使用key查詢redis中數據,如果有此key數據,則返回對象數據;如無此key數據,則查詢數據庫,但如果一直都無此key數據,從而反復查詢數據庫,顯然有問題。此時,可使用時間滑動窗口,對於查詢的失敗的key,距離首幀T時間(如1分鍾)內,不再查詢數據庫,而是直接返回無此數據,直到新查詢的時間超過T,更新滑窗首幀為新時間,並執行一次查詢數據庫操作。

3)時間滑動窗口+計數:這往往在需要進行限流處理的場景使用。如T時間(如1分鍾)內,相同key的訪問次數超過超過門限N,則表示計數器滿,此時進行限流處理。

2、代碼實現

2.1、方案說明

1)使用字典來管理不同的key,因為不同的key需要單獨計數。

2)上述三種情況,使用類型屬性區分,並在構造函數中進行設置。

3)滑動窗口使用雙向隊列Deque來實現。

4)考慮到訪問並發性,讀取或更新時,加鎖保護。

2.2、代碼

package com.abc.example.service;

import java.util.ArrayDeque;
import java.util.Deque;
import java.util.HashMap;
import java.util.Map;


/**
 * @className	: DacService
 * @description	: 數據訪問計數服務類
 * @summary		:
 * @history		:
 * ------------------------------------------------------------------------------
 * date			version		modifier		remarks                   
 * ------------------------------------------------------------------------------
 * 2021/08/03	1.0.0		sheng.zheng		初版
 *
 */
public class DacService {
	
	// 計數器類型:1-數量;2-時間窗口;3-時間窗口+數量
	private int counterType; 
	
	// 計數器數量門限
	private int counterThreshold = 5;
	
	// 時間窗口長度,單位毫秒
	private int windowSize = 60000;
	
	// 對象key的訪問計數器
	private Map<String,Integer> itemMap;

	// 對象key的訪問滑動窗口
	private Map<String,Deque<Long>> itemSlideWindowMap;
	
	/**
	 * 構造函數
	 * @param counterType		: 計數器類型,值為1,2,3之一
	 * @param counterThreshold	: 計數器數量門限,如果類型為1或3,需要此值
	 * @param windowSize		: 窗口時間長度,如果為類型為2,3,需要此值
	 */
	public DacService(int counterType, int counterThreshold, int windowSize) {
		this.counterType = counterType;
		this.counterThreshold = counterThreshold;
		this.windowSize = windowSize;
		
		if (counterType == 1) {
		    // 如果與計數器有關
		    itemMap = new HashMap<String,Integer>();
		}else if (counterType == 2 || counterType == 3) {
		    // 如果與滑動窗口有關
		    itemSlideWindowMap = new HashMap<String,Deque<Long>>();
		}
	}		
		
	/**
	 * 
	 * @methodName		: isItemKeyFull
	 * @description		: 對象key的計數是否將滿
	 * @param itemKey	: 對象key
	 * @param timeMillis    : 時間戳,毫秒數,如為滑窗類計數器,使用此參數值
	 * @return		: 滿返回true,否則返回false
	 * @history		:
	 * ------------------------------------------------------------------------------
	 * date			version		modifier		remarks                   
	 * ------------------------------------------------------------------------------
	 * 2021/08/03	1.0.0		sheng.zheng		初版
	 * 2021/08/08	1.0.1		sheng.zheng		支持多種類型計數器
	 *
	 */
	public boolean isItemKeyFull(String itemKey,Long timeMillis) {
		boolean bRet = false;
		
		if (this.counterType == 1) {
		    // 如果為計數器類型			
		    if (itemMap.containsKey(itemKey)) {
			synchronized(itemMap) {
		  	    Integer value = itemMap.get(itemKey);
			    // 如果計數器將超越門限
			    if (value >= this.counterThreshold - 1) {
			        bRet = true;
			    }					
			}
		    }else {
		        // 新的對象key,視業務需要,取值true或false
			bRet = true;
		    }
		}else if(this.counterType == 2){
		    // 如果為滑窗類型			
		    if (itemSlideWindowMap.containsKey(itemKey)) {
			  Deque<Long> itemQueue = itemSlideWindowMap.get(itemKey);
			  synchronized(itemQueue) {
			      if (itemQueue.size() > 0) {
				  Long head = itemQueue.getFirst();
				  if (timeMillis - head >= this.windowSize) {
				      // 如果窗口將滿
				      bRet = true;
				  }
			      }									
			  }
		    }else {
		        // 新的對象key,視業務需要,取值true或false
			bRet = true;				
		    }			
		}else if(this.counterType == 3){
		    // 如果為滑窗+數量類型
		    if (itemSlideWindowMap.containsKey(itemKey)) {
		        Deque<Long> itemQueue = itemSlideWindowMap.get(itemKey);
			synchronized(itemQueue) {
			    Long head = 0L;
			    // 循環處理頭部數據,確保新數據幀加入后,維持窗口寬度
			    while(true) {
			    	// 取得頭部數據
			    	head = itemQueue.peekFirst();
			    	if (head == null || timeMillis - head <= this.windowSize) {
			            break;
				}
				// 移除頭部
				itemQueue.remove();
			    }	
			    if (itemQueue.size() >= this.counterThreshold -1) {
			        // 如果窗口數量將滿
				bRet = true;
			    }											
			}
		    }else {
			// 新的對象key,視業務需要,取值true或false
			bRet = true;				
		    }			
		}
		
		return bRet;		
	}
		
	/**
	 * 
	 * @methodName		: resetItemKey
	 * @description		: 復位對象key的計數 
	 * @param itemKey	: 對象key
	 * @history		:
	 * ------------------------------------------------------------------------------
	 * date			version		modifier		remarks                   
	 * ------------------------------------------------------------------------------
	 * 2021/08/03	1.0.0		sheng.zheng		初版
	 * 2021/08/08	1.0.1		sheng.zheng		支持多種類型計數器
	 *
	 */
	public void resetItemKey(String itemKey) {
		if (this.counterType == 1) {
		    // 如果為計數器類型
		    if (itemMap.containsKey(itemKey)) {
		        // 更新值,加鎖保護
			synchronized(itemMap) {
			    itemMap.put(itemKey, 0);
			}			
		    }		
		}else if(this.counterType == 2){
		    // 如果為滑窗類型
		    // 清空
		    if (itemSlideWindowMap.containsKey(itemKey)) {
		        Deque<Long> itemQueue = itemSlideWindowMap.get(itemKey);
			if (itemQueue.size() > 0) {
			    // 加鎖保護
			    synchronized(itemQueue) {
			      // 清空
			      itemQueue.clear();
			    }								
			}
		    }						
		}else if(this.counterType == 3){
		    // 如果為滑窗+數量類型
		    if (itemSlideWindowMap.containsKey(itemKey)) {
		        Deque<Long> itemQueue = itemSlideWindowMap.get(itemKey);
			synchronized(itemQueue) {
			    // 清空
			    itemQueue.clear();
			}
		    }
		}
	}
	
	/**
	 * 
	 * @methodName		: putItemkey
	 * @description		: 更新對象key的計數
	 * @param itemKey	: 對象key
	 * @param timeMillis    : 時間戳,毫秒數,如為滑窗類計數器,使用此參數值
	 * @history		:
	 * ------------------------------------------------------------------------------
	 * date			version		modifier		remarks                   
	 * ------------------------------------------------------------------------------
	 * 2021/08/03	1.0.0		sheng.zheng		初版
	 * 2021/08/08	1.0.1		sheng.zheng		支持多種類型計數器
	 *
	 */
	public void putItemkey(String itemKey,Long timeMillis) {
		if (this.counterType == 1) {
		    // 如果為計數器類型
		    if (itemMap.containsKey(itemKey)) {
		        // 更新值,加鎖保護
			synchronized(itemMap) {
			    Integer value = itemMap.get(itemKey);
			    // 計數器+1
			    value ++;
			    itemMap.put(itemKey, value);
			}
		    }else {
		        // 新key值,加鎖保護
			synchronized(itemMap) {
			    itemMap.put(itemKey, 1);
			}			
		    }
		}else if(this.counterType == 2){
		    // 如果為滑窗類型	
		    if (itemSlideWindowMap.containsKey(itemKey)) {
		        Deque<Long> itemQueue = itemSlideWindowMap.get(itemKey);				
			// 加鎖保護
			synchronized(itemQueue) {
			    // 加入
			    itemQueue.add(timeMillis);
			}								
		    }else {
			// 新key值,加鎖保護
			Deque<Long> itemQueue = new ArrayDeque<Long>();
			synchronized(itemSlideWindowMap) {
			    // 加入映射表
			    itemSlideWindowMap.put(itemKey, itemQueue);
			    itemQueue.add(timeMillis);
			}
		    }
		}else if(this.counterType == 3){
		    // 如果為滑窗+數量類型
		    if (itemSlideWindowMap.containsKey(itemKey)) {
		        Deque<Long> itemQueue = itemSlideWindowMap.get(itemKey);				
			// 加鎖保護
			synchronized(itemQueue) {
			    Long head = 0L;
			    // 循環處理頭部數據
			    while(true) {
			        // 取得頭部數據
				head = itemQueue.peekFirst();
				if (head == null || timeMillis - head <= this.windowSize) {
				    break;
				}
				// 移除頭部
				itemQueue.remove();
			    }
			    // 加入新數據
			    itemQueue.add(timeMillis);					
			}								
		    }else {
			// 新key值,加鎖保護
			Deque<Long> itemQueue = new ArrayDeque<Long>();
			synchronized(itemSlideWindowMap) {
			    // 加入映射表
			    itemSlideWindowMap.put(itemKey, itemQueue);
			    itemQueue.add(timeMillis);
			}
		    }			
		}				
	}
		
	/**
	 * 
	 * @methodName	: clear
	 * @description	: 清空字典
	 * @history		:
	 * ------------------------------------------------------------------------------
	 * date			version		modifier		remarks                   
	 * ------------------------------------------------------------------------------
	 * 2021/08/03	1.0.0		sheng.zheng		初版
	 * 2021/08/08	1.0.1		sheng.zheng		支持多種類型計數器
	 *
	 */
	public void clear() {
		if (this.counterType == 1) {
			// 如果為計數器類型
			synchronized(this) {
				itemMap.clear();
			}				
		}else if(this.counterType == 2){
			// 如果為滑窗類型	
			synchronized(this) {
				itemSlideWindowMap.clear();
			}				
		}else if(this.counterType == 3){
			// 如果為滑窗+數量類型
			synchronized(this) {
				itemSlideWindowMap.clear();
			}				
		}			
	}
}

2.3、調用

  要調用計數器,只需在應用類中添加DacService對象,如:

public class DataCommonService {
	// 數據訪問計數服務類,時間滑動窗口,窗口寬度60秒
	protected DacService dacService = new DacService(2,0,60000);

	/**
	 * 
	 * @methodName		: procNoClassData
	 * @description		: 對象組key對應的數據不存在時的處理
	 * @param classKey	: 對象組key
	 * @return		: 數據加載成功,返回true,否則為false
	 * @history		:
	 * ------------------------------------------------------------------------------
	 * date			version		modifier		remarks                   
	 * ------------------------------------------------------------------------------
	 * 2021/08/08	1.0.0		sheng.zheng		初版
	 *
	 */
	protected boolean procNoClassData(Object classKey) {
		boolean bRet = false;
		String key = getCombineKey(null,classKey);
		Long currentTime = System.currentTimeMillis();
		// 判斷計數器是否將滿
		if (dacService.isItemKeyFull(key,currentTime)) {
			// 如果計數將滿
			// 復位
			dacService.resetItemKey(key);
			// 從數據庫加載分組數據項
			bRet = loadGroupItems(classKey);
		}
		dacService.putItemkey(key,currentTime);
		return bRet;
	}
	
	/**
	 * 
	 * @methodName		: procNoItemData
	 * @description		: 對象key對應的數據不存在時的處理
	 * @param itemKey	: 對象key
	 * @param classKey	: 對象組key
	 * @return		: 數據加載成功,返回true,否則為false
	 * @history		:
	 * ------------------------------------------------------------------------------
	 * date			version		modifier		remarks                   
	 * ------------------------------------------------------------------------------
	 * 2021/08/08	1.0.0		sheng.zheng		初版
	 *
	 */
	protected boolean procNoItemData(Object itemKey, Object classKey) {
		// 如果itemKey不存在
		boolean bRet = false;
		String key = getCombineKey(itemKey,classKey);
		
		Long currentTime = System.currentTimeMillis();
		if (dacService.isItemKeyFull(key,currentTime)) {
			// 如果計數將滿
			// 復位
			dacService.resetItemKey(key);
			// 從數據庫加載數據項
			bRet = loadItem(itemKey, classKey);
		}
		dacService.putItemkey(key,currentTime);			
		return bRet;
	}

	/**
	 * 
	 * @methodName		: getCombineKey
	 * @description		: 獲取組合key值
	 * @param itemKey	: 對象key
	 * @param classKey	: 對象組key
	 * @return		: 組合key
	 * @history		:
	 * ------------------------------------------------------------------------------
	 * date			version		modifier		remarks                   
	 * ------------------------------------------------------------------------------
	 * 2021/08/08	1.0.0		sheng.zheng		初版
	 *
	 */
	protected String getCombineKey(Object itemKey, Object classKey) {
		String sItemKey = (itemKey == null ? "" : itemKey.toString());
		String sClassKey = (classKey == null ? "" : classKey.toString());
		String key = "";
		if (!sClassKey.isEmpty()) {
			key = sClassKey;
		}
		if (!sItemKey.isEmpty()) {
			if (!key.isEmpty()) {
				key += "-" + sItemKey;
			}else {
				key = sItemKey;
			}
		}
		return key;
	}
}

  procNoClassData方法:分組數據不存在時的處理。procNoItemData方法:單個數據項不存在時的處理。

  主從關系在數據庫中,較為常見,因此針對分組數據和單個對象key分別編寫了方法;如果key的個數超過2個,可以類似處理。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM