【工作篇】接口冪等問題探究
前言
最近遇到一些問題，表單重復提交，導致插入重復數據到數據庫，這里查詢一些通用的方案，自己都實踐一下，以后好回顧。
實踐代碼項目 Github： https://github.com/h-dj/Spring-Learning/tree/master/repeat-submit
一、什么是接口冪等性？
冪等含義
冪等（idempotent、idempotence）是一個數學與計算機學概念，常見於抽象代數中。
在編程中一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函數，或冪等方法，是指可以使用相同參數重復執行，並能獲得相同結果的函數。這些函數不會影響系統狀態，也不用擔心重復執行會對系統造成改變。--- 百科
簡單理解：就是針對一個操作，不管做多少次，產生的效果都是一樣的。
舉例：
- 前端對同一表單數據的重復提交，后台應該只會產生一條記錄
- 我們發起一筆付款請求，應該只扣用戶賬戶一次錢，當遇到網絡重發或系統 bug 重發，也應該只扣一次錢
- 發送消息，也應該只發一次，同樣的短信如果多次發給用戶，用戶會崩潰
- 創建業務訂單，一次業務請求只能創建一個，不能出現創建多個訂單
二、那些情況下會需要接口冪等性?
對於業務中需要考慮冪等性的地方一般都是接口的重復請求，重復請求是指同一個請求因為某些原因被多次提交。導致這個情況會有以下幾種場景：
- 前端重復提交：提交訂單，用戶快速重復點擊多次，造成后端生成多個內容重復的訂單。
- 接口超時重試：對於給第三方調用的接口，為了防止網絡抖動或其他原因造成請求丟失，這樣的接口一般都會設計成超時重試多次。
- 消息重復消費：MQ 消息中間件，消息重復消費。
三、接口冪等性解決方案
3.1、一般解決方案了解
前端方面：
- 控制操作次數，例如：提交按鈕僅可操作一次（提交動作后按鈕置灰）
- 及時重定向，例如：下單/支付成功后跳轉到成功提示頁面，這樣消除了瀏覽器前進或后退造成的重復提交問題。
后台方面：
-
數據庫去重表(唯一索引)：
- 利用數據庫的唯一索引特性，保證唯一的邏輯
- 使用唯一索引，可以是在原來的業務表添加唯一索引，也可以新建一個特定的去重表
-
使用分布式鎖：
- 借助中間件：Redis 、Zookeeper
- 注意要保證中間件的高可用
-
Token 機制：
- 進入頁面時先申請 Token，提交表單時再使用 Token 請求，后台根據 Token 判斷是否重復請求
- 前端申請 Token 和 攜帶 Token 的行為需要進行封裝，不然每個頁面都需要手動，比較繁瑣，后台的話可以使用 注解+ AOP 統一攔截
-
分布式項目，依然需要借助中間件：Redis
注意：
- 一般推薦前端后台一起組合接口冪等方案，這樣比較安全高效。
以下准備使用加入購物車為例，實現各個方案
3.2、數據庫去重表(唯一索引)
-
操作步驟
- 1、通過請求的業務參數，組成唯一 ID
- 2、通過 ID 查詢去重表中是否存在記錄，存在則拋出 重復請求異常（是否拋出異常，根據具體業務決定）
- 3、否則，向去重表插入記錄，如果插入異常，說明有多個請求同時執行，拋出重復請求異常
- 4、去重表插入記錄成功后，執行加入購物車操作
- 5、執行加入購物車操作成功后，刪除去重表記錄
- 注意： 去重表操作 和 業務處理要在同一個事物中，方式業務處理失敗后，沒有回滾去重表記錄，導致商品加入購物車后，不能在增加數量
-
創建表
DROP TABLE IF EXISTS `cart`;
CREATE TABLE `cart` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`product_id` bigint(20) DEFAULT NULL,
`product_name` varchar(500) DEFAULT NULL COMMENT '商品名稱',
`product_sku_id` bigint(20) DEFAULT NULL,
`member_id` bigint(20) DEFAULT NULL,
`quantity` int(11) DEFAULT NULL COMMENT '購買數量',
`price` decimal(10,2) DEFAULT NULL COMMENT '添加到購物車的價格',
PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='購物車表';
DROP TABLE IF EXISTS `deduplicate`;
CREATE TABLE `deduplicate` (
id BIGINT(20) auto_increment NOT NULL,
unique_id varchar(100) NULL COMMENT '唯一ID',
CONSTRAINT deduplicate_PK PRIMARY KEY (id),
CONSTRAINT deduplicate_UN UNIQUE KEY (unique_id) -- 唯一索引
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='去重表';
- 添加到購物車邏輯
@RestController
@RequestMapping("/cart")
public class CartController {
@Autowired
private ICartService iCartService;
@ApiRepeatUniqueIdSubmit(keyExpression = "@cartController.getUserId()+'_'+#cartPO.getProductId() +'_'+#cartPO.getProductSkuId()")
@PostMapping(value = "/add")
public String add(@RequestBody CartPO cartPO) throws InterruptedException {
cartPO.setMemberId(getUserId());
iCartService.addCart(cartPO);
return "ok";
}
/**
* 獲取當前登錄用戶ID
*
* @return
*/
public Long getUserId() {
return 1001L;
}
}
@Transactional(rollbackFor = Exception.class)
@Override
public void addCart(CartPO cartPO) throws InterruptedException {
LambdaQueryWrapper<CartPO> queryWrapper = Wrappers.<CartPO>lambdaQuery()
.eq(CartPO::getMemberId, cartPO.getMemberId())
.eq(CartPO::getProductId, cartPO.getProductId())
.eq(CartPO::getProductSkuId, cartPO.getProductSkuId());
//查詢商品，已添加到購物車的，就增加數量即可(業務邏輯冪等)
//因為 select 和 save 操作不是串行執行的，可能有兩個線程同時查詢到商品沒有添加到購物車
//然后同一個商品被兩個線程分別入庫了，導致購物車出現相同商品的兩條記錄
List<CartPO> list = this.list(queryWrapper);
//模擬耗時
TimeUnit.SECONDS.sleep(1);
if (list == null || list.isEmpty()) {
//添加到購物車
this.save(cartPO);
} else {
CartPO updateCartPO = list.get(0);
//數量加一
LambdaUpdateWrapper<CartPO> updateWrapper = Wrappers.<CartPO>lambdaUpdate()
.eq(CartPO::getId, updateCartPO.getId())
.setSql("quantity = quantity + 1");
this.update(updateWrapper);
}
}
- 編寫 AOP 攔截處理
@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface ApiRepeatUniqueIdSubmit {
/**
* 唯一key，支持Spring EL 表達式
*
* @return
* @ 符號引用 Spring 注冊的bean
* # 符合引用方法上的參數
* param?.id 其中? 是避免param為空時，發生空指針異常
* @see <a>https://docs.spring.io/spring-framework/docs/3.0.x/reference/expressions.html</a>
*/
String keyExpression();
}
@Component
@Aspect
public class ApiRepeatSubmitUniqueIdAspect {
@Autowired
private ApplicationContext applicationContext;
@Autowired
private IDeduplicateService iDeduplicateService;
@Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatUniqueIdSubmit)")
public void pointCut() {
}
@Transactional(rollbackFor = Exception.class)
@Around("pointCut()")
public Object around(ProceedingJoinPoint joinPoint) throws Throwable {
Signature signature = joinPoint.getSignature();
MethodSignature msig = (MethodSignature) signature;
Method targetMethod = msig.getMethod();
ApiRepeatUniqueIdSubmit apiRepeatSubmit = targetMethod.getAnnotation(ApiRepeatUniqueIdSubmit.class);
String keyExpression = apiRepeatSubmit.keyExpression();
Map<String, Object> argMap = SpringElUtil.getArgMap(joinPoint);
//獲取業務參數，組成唯一ID
String uniqueId = SpringElUtil.<String>createElBuilder()
.setArgMap(argMap)
.setBeanFactory(applicationContext)
.setTarget(String.class)
.setKeyExpression(keyExpression)
.build();
LambdaQueryWrapper<DeduplicatePO> queryWrapper = Wrappers.<DeduplicatePO>lambdaQuery()
.eq(DeduplicatePO::getUniqueId, uniqueId);
long count = this.iDeduplicateService.count(queryWrapper);
if (count > 0) {
throw new DuplicateKeyException("不要重復提交!");
}
//插入去重表
DeduplicatePO deduplicatePO = new DeduplicatePO();
deduplicatePO.setUniqueId(uniqueId);
try {
this.iDeduplicateService.save(deduplicatePO);
} catch (Exception e) {
throw new DuplicateKeyException("不要重復提交!");
}
Object proceed = joinPoint.proceed();
//執行完刪除
this.iDeduplicateService.removeById(deduplicatePO);
return proceed;
}
}
3.3、分布式鎖
分布式鎖可以使用 Redis 和 Zookeeper ，更多關於 Redis 和 Zookeeper 的使用 請自行查閱資料。以下使用 Redis 來實現分布式鎖
- 引入依賴
<dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson-spring-boot-starter</artifactId>
<version>3.16.6</version>
</dependency>
- 配置
spring:
redis:
# https://github.com/redisson/redisson/wiki/2.-Configuration
database: '0'
host: '127.0.0.1'
port: '6379'
#password: '123456'
# ssl:
# timeout:
# cluster:
# nodes:
# sentinel:
# master:
# nodes:
- 在 AOP 獲取鎖的邏輯
//創建鎖
RLock lock = this.redissonClient.getLock(LOCK_PREFIX + uniqueId);
//判斷是否被搶占了鎖
if (lock.isLocked()) {
throw new DuplicateKeyException("不要重復提交!");
}
//嘗試獲取鎖， 默認30秒會超時過期， 並啟動線程監聽，自動續簽
//當客戶端異常，終止了續簽線程，超時后會刪除鎖，避免發生死鎖
//如果自己手動設置了超時過期時間，則不會啟動線程監聽，自動續簽
if (lock.tryLock()) {
try {
return joinPoint.proceed();
} finally {
//釋放鎖
lock.unlock();
}
}
throw new DuplicateKeyException("不要重復提交!");
3.4、使用 Token 機制
-
操作步驟
- 1、在訪問頁面時，先獲取 Token ，保持到指定的地方
- 2、在點擊加入購物車時，把 Token 放到 Header 或請求參數中，帶給后台
- 3、后台驗證 Token 並刪除，表示該 Token 已使用
- 4、執行加入購物車邏輯
- 5、成功響應前端（看業務需求，是否需要重新獲取 Token）
-
創建 Token 生成和驗證服務
@Service
public class TokenServiceImpl implements TokenService {
public static final String TOKEN_PREFIX = "token_idempotent";
public static final String TOKEN_HEADER_NAME = "x-token";
public static final Long TOKEN_EXPIRE_TIME = 5 * 60L;
@Autowired
private RedissonClient redissonClient;
@Override
public String createToken() {
String ID = UUID.randomUUID().toString();
RBucket<String> bucket = this.redissonClient.<String>getBucket(String.format("%s:%s", TOKEN_PREFIX, ID), StringCodec.INSTANCE);
//默認超時5分鍾
bucket.trySet(ID, TOKEN_EXPIRE_TIME, TimeUnit.SECONDS);
return ID;
}
@Override
public boolean checkToken(HttpServletRequest request) {
// 從請求頭中獲取token信息
String token = request.getHeader(TOKEN_HEADER_NAME);
if (!StringUtils.hasLength(token)) {
//從參數中獲取token值
token = request.getParameter(TOKEN_HEADER_NAME);
}
if (!StringUtils.hasLength(token)) {
throw new DuplicateKeyException("重復提交，提交失敗");
}
RBucket<String> bucket = this.redissonClient.getBucket(String.format("%s:%s", TOKEN_PREFIX, token), StringCodec.INSTANCE);
//獲取，並刪除
String ID = bucket.getAndDelete();
//不存在，則重復提交
if (ID == null) {
throw new DuplicateKeyException("重復提交，提交失敗");
}
return true;
}
}
- 在 AOP 中檢查
@Component
@Aspect
public class ApiRepeatSubmitTokenAspect {
@Autowired
private TokenService tokenService;
@Autowired
private HttpServletRequest request;
@Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatTokenSubmit)")
public void pointCut() {
}
@Before("pointCut()")
public void Before(JoinPoint joinPoint) {
tokenService.checkToken(request);
}
}
- 前端進入頁面時是先獲取 Token
$.ajax({
type: "GET",
url: "/token/create",
contentType:'application/json',
success: function(token){
sessionStorage.setItem('x-token',token);
}
});
- 請求時帶上 Token
$("#addCart").click(function(){
//按鈕置灰
$("#addCart").attr('disabled','disabled');
$.ajax({
type: "POST",
url: "/cart/add",
headers:{
//攜帶token
'x-token':sessionStorage.getItem('x-token')
},
data: JSON.stringify({
productId: $('input[name=product_id]').val(),
productSkuId: $('input[name=product_sku_id]').val(),
productName: $('input[name=product_name]').val(),
price: $('input[name=price]').val(),
quantity: $('input[name=quantity]').val()
}),
contentType:'application/json',
success: function(msg){
console.log(msg)
},
complete: function(msg){
$("#addCart").removeAttr('disabled');
}
});
});
總結
以上是較為常見通用的冪等方案，但實際業務可能比較個性化，需要跟業務結合進行考慮，采用合適的方法或結合使用，例如：
- 如果該業務是存在狀態流轉，可以采用狀態機策略進行業務冪等判斷
- 如果該業務是更新數據，可以采用多版本策略，在需要更新的業務表上加上版本號