【高並發】高並發分布式鎖架構解密,不是所有的鎖都是分布式鎖!!


寫在前面

最近,很多小伙伴留言說,在學習高並發編程時,不太明白分布式鎖是用來解決什么問題的,還有不少小伙伴甚至連分布式鎖是什么都不太明白。明明在生產環境上使用了自己開發的分布式鎖,為什么還會出現問題呢?同樣的程序,加上分布式鎖后,性能差了幾個數量級!這又是為什么呢?今天,我們就來說說如何在高並發環境下實現分布式鎖,不是所有的鎖都是高並發的。

萬字長文,帶你深入解密高並發環境下的分布式鎖架構,不是所有的鎖都是分布式鎖!!!

究竟什么樣的鎖才能更好的支持高並發場景呢?今天,我們就一起解密高並發環境下典型的分布式鎖架構,結合【高並發】專題下的其他文章,學以致用。

鎖用來解決什么問題呢?

在我們編寫的應用程序或者高並發程序中,不知道大家有沒有想過一個問題,就是我們為什么需要引入鎖?鎖為我們解決了什么問題呢?

在很多業務場景下,我們編寫的應用程序中會存在很多的 資源競爭 的問題。而我們在高並發程序中,引入鎖,就是為了解決這些資源競爭的問題。

電商超賣問題

這里,我們可以列舉一個簡單的業務場景。比如,在電子商務(商城)的業務場景中,提交訂單購買商品時,首先需要查詢相應商品的庫存是否足夠,只有在商品庫存數量足夠的前提下,才能讓用戶成功的下單。下單時,我們需要在庫存數量中減去用戶下單的商品數量,並將庫存操作的結果數據更新到數據庫中。整個流程我們可以簡化成下圖所示。

很多小伙伴也留言說,讓我給出代碼,這樣能夠更好的學習和掌握相關的知識。好吧,這里,我也給出相應的代碼片段吧。我們可以使用下面的代碼片段來表示用戶的下單操作,我這里將商品的庫存信息保存在了Redis中。

@RequestMapping("/submitOrder")
public String submitOrder(){
    int stock = Integer.parseInt(stringRedisTemplate.opsForValue().get("stock"));
    if(stock > 0){
        stock -= 1;
        stringRedisTemplate.opsForValue().set("stock", String.valueOf(stock));
        logger.debug("庫存扣減成功,當前庫存為:{}", stock);
    }else{
        logger.debug("庫存不足,扣減庫存失敗");
        throw new OrderException("庫存不足,扣減庫存失敗");
    }
    return "success";
}

注意:上述代碼片段比較簡單,只是為了方便大家理解,真正項目中的代碼就不能這么寫了。

上述的代碼看似是沒啥問題的,但是我們不能只從代碼表面上來觀察代碼的執行順序。這是因為在JVM中代碼的執行順序未必是按照我們書寫代碼的順序執行的。即使在JVM中代碼是按照我們書寫的順序執行,那我們對外提供的接口一旦暴露出去,就會有成千上萬的客戶端來訪問我們的接口。所以說,我們暴露出去的接口是會被並發訪問的。

試問,上面的代碼在高並發環境下是線程安全的嗎?答案肯定不是線程安全的,因為上述扣減庫存的操作會出現並行執行的情況。

我們可以使用Apache JMeter來對上述接口進行測試,這里,我使用Apache JMeter對上述接口進行測試。

在Jmeter中,我將線程的並發度設置為3,接下來的配置如下所示。

以HTTP GET請求的方式來並發訪問提交訂單的接口。此時,運行JMeter來訪問接口,命令行會打印出下面的日志信息。

庫存扣減成功,當前庫存為:49
庫存扣減成功,當前庫存為:49
庫存扣減成功,當前庫存為:49

這里,我們明明請求了3次,也就是說,提交了3筆訂單,為什么扣減后的庫存都是一樣的呢?這種現象在電商領域有一個專業的名詞叫做 “超賣”

如果一個大型的高並發電商系統,比如淘寶、天貓、京東等,出現了超賣現象,那損失就無法估量了!架構設計和開發電商系統的人員估計就要通通下崗了。所以,作為技術人員,我們一定要嚴謹的對待技術,嚴格做好系統的每一個技術環節。

JVM中提供的鎖

JVM中提供的synchronized和Lock鎖,相信大家並不陌生了,很多小伙伴都會使用這些鎖,也能使用這些鎖來實現一些簡單的線程互斥功能。那么,作為立志要成為架構師的你,是否了解過JVM鎖的底層原理呢?

JVM鎖原理

說到JVM鎖的原理,我們就不得不限說說Java中的對象頭了。

Java中的對象頭

每個Java對象都有對象頭。如果是⾮數組類型,則⽤2個字寬來存儲對象頭,如果是數組,則會⽤3個字寬來存儲對象頭。在32位處理器中,⼀個字寬是32位;在64位虛擬機中,⼀個字寬是64位。

對象頭的內容如下表 。

長度 內容 說明
32/64bit Mark Word 存儲對象的hashCode或鎖信息等
32/64bit Class Metadata Access 存儲到對象類型數據的指針
32/64bit Array length 數組的長度(如果是數組)

Mark Work的格式如下所示。

鎖狀態 29bit或61bit 1bit是否是偏向鎖? 2bit鎖標志位
無鎖 0 01
偏向鎖 線程ID 1 01
輕量級鎖 指向棧中鎖記錄的指針 此時這一位不用於標識偏向鎖 00
重量級鎖 指向互斥量(重量級鎖)的指針 此時這一位不用於標識偏向鎖 10
GC標記 此時這一位不用於標識偏向鎖 11

可以看到,當對象狀態為偏向鎖時, Mark Word 存儲的是偏向的線程ID;當狀態為輕量級鎖時, Mark Word 存儲的是指向線程棧中 Lock Record 的指針;當狀態為重量級鎖時, Mark Word 為指向堆中的monitor對象的指針 。

有關Java對象頭的知識,參考《深入淺出Java多線程》。

JVM鎖原理

簡單點來說,JVM中鎖的原理如下。

在Java對象的對象頭上,有一個鎖的標記,比如,第一個線程執行程序時,檢查Java對象頭中的鎖標記,發現Java對象頭中的鎖標記為未加鎖狀態,於是為Java對象進行了加鎖操作,將對象頭中的鎖標記設置為鎖定狀態。第二個線程執行同樣的程序時,也會檢查Java對象頭中的鎖標記,此時會發現Java對象頭中的鎖標記的狀態為鎖定狀態。於是,第二個線程會進入相應的阻塞隊列中進行等待。

這里有一個關鍵點就是Java對象頭中的鎖標記如何實現。

JVM鎖的短板

JVM中提供的synchronized和Lock鎖都是JVM級別的,大家都知道,當運行一個Java程序時,會啟動一個JVM進程來運行我們的應用程序。synchronized和Lock在JVM級別有效,也就是說,synchronized和Lock在同一Java進程內有效。如果我們開發的應用程序是分布式的,那么只是使用synchronized和Lock來解決分布式場景下的高並發問題,就會顯得有點力不從心了。

synchronized和Lock支持JVM同一進程內部的線程互斥

synchronized和Lock在JVM級別能夠保證高並發程序的互斥,我們可以使用下圖來表示。

但是,當我們將應用程序部署成分布式架構,或者將應用程序在不同的JVM進程中運行時,synchronized和Lock就不能保證分布式架構和多JVM進程下應用程序的互斥性了。

synchronized和Lock不能實現多JVM進程之間的線程互斥

分布式架構和多JVM進程的本質都是將應用程序部署在不同的JVM實例中,也就是說,其本質還是多JVM進程。

分布式鎖

我們在實現分布式鎖時,可以參照JVM鎖實現的思想,JVM鎖在為對象加鎖時,通過改變Java對象的對象頭中的鎖的標志位來實現,也就是說,所有的線程都會訪問這個Java對象的對象頭中的鎖標志位。

我們同樣以這種思想來實現分布式鎖,當我們將應用程序進行拆分並部署成分布式架構時,所有應用程序中的線程訪問共享變量時,都到同一個地方去檢查當前程序的臨界區是否進行了加鎖操作,而是否進行了加鎖操作,我們在統一的地方使用相應的狀態來進行標記。

可以看到,在分布式鎖的實現思想上,與JVM鎖相差不大。而在實現分布式鎖中,保存加鎖狀態的服務可以使用MySQL、Redis和Zookeeper實現。

但是,在互聯網高並發環境中, 使用Redis實現分布式鎖的方案是使用的最多的。 接下來,我們就使用Redis來深入解密分布式鎖的架構設計。

Redis如何實現分布式鎖

Redis命令

在Redis中,有一個不常使用的命令如下所示。

SETNX key value

這條命令的含義就是“SET if Not Exists”,即不存在的時候才會設置值。

只有在key不存在的情況下,將鍵key的值設置為value。如果key已經存在,則SETNX命令不做任何操作。

這個命令的返回值如下。

  • 命令在設置成功時返回1。
  • 命令在設置失敗時返回0。

所以,我們在分布式高並發環境下,可以使用Redis的SETNX命令來實現分布式鎖。假設此時有線程A和線程B同時訪問臨界區代碼,假設線程A首先執行了SETNX命令,並返回結果1,繼續向下執行。而此時線程B再次執行SETNX命令時,返回的結果為0,則線程B不能繼續向下執行。只有當線程A執行DELETE命令將設置的鎖狀態刪除時,線程B才會成功執行SETNX命令設置加鎖狀態后繼續向下執行。

引入分布式鎖

了解了如何使用Redis中的命令實現分布式鎖后,我們就可以對下單接口進行改造了,加入分布式鎖,如下所示。

/**
* 為了演示方便,我這里就簡單定義了一個常量作為商品的id
* 實際工作中,這個商品id是前端進行下單操作傳遞過來的參數
*/
public static final String PRODUCT_ID = "100001";

@RequestMapping("/submitOrder")
public String submitOrder(){
    //通過stringRedisTemplate來調用Redis的SETNX命令,key為商品的id,value為字符串“binghe”
    //實際上,value可以為任意的字符換
    Boolean isLocked = stringRedisTemplate.opsForValue().setIfAbsent(PRODUCT_ID, "binghe");
   //沒有拿到鎖,返回下單失敗
    if(!isLock){
        return "failure";
    }
    int stock = Integer.parseInt(stringRedisTemplate.opsForValue().get("stock"));
    if(stock > 0){
        stock -= 1;
        stringRedisTemplate.opsForValue().set("stock", String.valueOf(stock));
        logger.debug("庫存扣減成功,當前庫存為:{}", stock);
    }else{
        logger.debug("庫存不足,扣減庫存失敗");
        throw new OrderException("庫存不足,扣減庫存失敗");
    }
    //業務執行完成,刪除PRODUCT_ID key
    stringRedisTemplate.delete(PRODUCT_ID);
    return "success";
}

那么,在上述代碼中,我們加入了分布式鎖的操作,那上述代碼是否能夠在高並發場景下保證業務的原子性呢?答案是可以保證業務的原子性。但是,在實際場景中,上面實現分布式鎖的代碼是不可用的!!

假設當線程A首先執行stringRedisTemplate.opsForValue()的setIfAbsent()方法返回true,繼續向下執行,正在執行業務代碼時,拋出了異常,線程A直接退出了JVM。此時,stringRedisTemplate.delete(PRODUCT_ID);代碼還沒來得及執行,之后所有的線程進入提交訂單的方法時,調用stringRedisTemplate.opsForValue()的setIfAbsent()方法都會返回false。導致后續的所有下單操作都會失敗。這就是分布式場景下的死鎖問題。

所以,上述代碼中實現分布式鎖的方式在實際場景下是不可取的!!

引入try-finally代碼塊

說到這,相信小伙伴們都能夠想到,使用try-finall代碼塊啊,接下來,我們為下單接口的方法加上try-finally代碼塊。

/**
* 為了演示方便,我這里就簡單定義了一個常量作為商品的id
* 實際工作中,這個商品id是前端進行下單操作傳遞過來的參數
*/
public static final String PRODUCT_ID = "100001";

@RequestMapping("/submitOrder")
public String submitOrder(){
    //通過stringRedisTemplate來調用Redis的SETNX命令,key為商品的id,value為字符串“binghe”
    //實際上,value可以為任意的字符換
    Boolean isLocked = stringRedisTemplate.opsForValue().setIfAbsent(PRODUCT_ID, "binghe");
   //沒有拿到鎖,返回下單失敗
    if(!isLock){
        return "failure";
    }
    try{
        int stock = Integer.parseInt(stringRedisTemplate.opsForValue().get("stock"));
        if(stock > 0){
            stock -= 1;
            stringRedisTemplate.opsForValue().set("stock", String.valueOf(stock));
            logger.debug("庫存扣減成功,當前庫存為:{}", stock);
        }else{
            logger.debug("庫存不足,扣減庫存失敗");
            throw new OrderException("庫存不足,扣減庫存失敗");
        }
    }finally{
         //業務執行完成,刪除PRODUCT_ID key
    	stringRedisTemplate.delete(PRODUCT_ID);
    }
    return "success";
}

那么,上述代碼是否真正解決了死鎖的問題呢?我們在寫代碼時,不能只盯着代碼本身,覺得上述代碼沒啥問題了。實際上,生產環境是非常復雜的。如果線程在成功加鎖之后,執行業務代碼時,還沒來得及執行刪除鎖標志的代碼,此時,服務器宕機了,程序並沒有優雅的退出JVM。也會使得后續的線程進入提交訂單的方法時,因無法成功的設置鎖標志位而下單失敗。所以說,上述的代碼仍然存在問題。

引入Redis超時機制

在Redis中可以設置緩存的自動過期時間,我們可以將其引入到分布式鎖的實現中,如下代碼所示。

/**
* 為了演示方便,我這里就簡單定義了一個常量作為商品的id
* 實際工作中,這個商品id是前端進行下單操作傳遞過來的參數
*/
public static final String PRODUCT_ID = "100001";

@RequestMapping("/submitOrder")
public String submitOrder(){
    //通過stringRedisTemplate來調用Redis的SETNX命令,key為商品的id,value為字符串“binghe”
    //實際上,value可以為任意的字符換
    Boolean isLocked = stringRedisTemplate.opsForValue().setIfAbsent(PRODUCT_ID, "binghe");
   //沒有拿到鎖,返回下單失敗
    if(!isLock){
        return "failure";
    }
    try{
        stringRedisTemplate.expire(PRODUCT_ID, 30, TimeUnit.SECONDS);
        int stock = Integer.parseInt(stringRedisTemplate.opsForValue().get("stock"));
        if(stock > 0){
            stock -= 1;
            stringRedisTemplate.opsForValue().set("stock", String.valueOf(stock));
            logger.debug("庫存扣減成功,當前庫存為:{}", stock);
        }else{
            logger.debug("庫存不足,扣減庫存失敗");
            throw new OrderException("庫存不足,扣減庫存失敗");
        }
    }finally{
         //業務執行完成,刪除PRODUCT_ID key
    	stringRedisTemplate.delete(PRODUCT_ID);
    }
    return "success";
}

在上述代碼中,我們加入了如下一行代碼來為Redis中的鎖標志設置過期時間。

stringRedisTemplate.expire(PRODUCT_ID, 30, TimeUnit.SECONDS);

此時,我們設置的過期時間為30秒。

那么問題來了,這樣是否就真正的解決了問題呢?上述程序就真的沒有坑了嗎?答案是還是有坑的!!

“坑位”分析

我們在下單操作的方法中為分布式鎖引入了超時機制,此時的代碼還是無法真正避免死鎖的問題,那“坑位”到底在哪里呢?試想,當程序執行完stringRedisTemplate.opsForValue().setIfAbsent()方法后,正要執行stringRedisTemplate.expire(PRODUCT_ID, 30, TimeUnit.SECONDS)代碼時,服務器宕機了,你還別說,生產壞境的情況非常復雜,就是這么巧,服務器就宕機了。此時,后續請求進入提交訂單的方法時,都會因為無法成功設置鎖標志而導致后續下單流程無法正常執行。

既然我們找到了上述代碼的“坑位”,那我們如何將這個”坑“填上?如何解決這個問題呢?別急,Redis已經提供了這樣的功能。我們可以在向Redis中保存數據的時候,可以同時指定數據的超時時間。所以,我們可以將代碼改造成如下所示。

/**
* 為了演示方便,我這里就簡單定義了一個常量作為商品的id
* 實際工作中,這個商品id是前端進行下單操作傳遞過來的參數
*/
public static final String PRODUCT_ID = "100001";

@RequestMapping("/submitOrder")
public String submitOrder(){
    //通過stringRedisTemplate來調用Redis的SETNX命令,key為商品的id,value為字符串“binghe”
    //實際上,value可以為任意的字符換
    Boolean isLocked = stringRedisTemplate.opsForValue().setIfAbsent(PRODUCT_ID, "binghe", 30, TimeUnit.SECONDS);
   //沒有拿到鎖,返回下單失敗
    if(!isLock){
        return "failure";
    }
    try{
        int stock = Integer.parseInt(stringRedisTemplate.opsForValue().get("stock"));
        if(stock > 0){
            stock -= 1;
            stringRedisTemplate.opsForValue().set("stock", String.valueOf(stock));
            logger.debug("庫存扣減成功,當前庫存為:{}", stock);
        }else{
            logger.debug("庫存不足,扣減庫存失敗");
            throw new OrderException("庫存不足,扣減庫存失敗");
        }
    }finally{
         //業務執行完成,刪除PRODUCT_ID key
    	stringRedisTemplate.delete(PRODUCT_ID);
    }
    return "success";
}

在上述代碼中,我們在向Redis中設置鎖標志位的時候就設置了超時時間。此時,只要向Redis中成功設置了數據,則即使我們的業務系統宕機,Redis中的數據過期后,也會自動刪除。后續的線程進入提交訂單的方法后,就會成功的設置鎖標志位,並向下執行正常的下單流程。

到此,上述的代碼基本上在功能角度解決了程序的死鎖問題,那么,上述程序真的就完美了嗎?哈哈,很多小伙伴肯定會說不完美!確實,上面的代碼還不是完美的,那大家知道哪里不完美嗎?接下來,我們繼續分析。

在開發集成角度分析代碼

在我們開發公共的系統組件時,比如我們這里說的分布式鎖,我們肯定會抽取一些公共的類來完成相應的功能來供系統使用。

這里,假設我們定義了一個RedisLock接口,如下所示。

public interface RedisLock{
    //加鎖操作
    boolean tryLock(String key, long timeout, TimeUnit unit);
    //解鎖操作
    void releaseLock(String key);
}

接下來,使用RedisLockImpl類實現RedisLock接口,提供具體的加鎖和解鎖實現,如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        return stringRedisTemplate.opsForValue().setIfAbsent(key, "binghe", timeout, unit);
    }
    @Override
    public void releaseLock(String key){
        stringRedisTemplate.delete(key);
    }
}

在開發集成的角度來說,當一個線程從上到下執行時,首先對程序進行加鎖操作,然后執行業務代碼,執行完成后,再進行釋放鎖的操作。理論上,加鎖和釋放鎖時,操作的Redis Key都是一樣的。但是,如果其他開發人員在編寫代碼時,並沒有調用tryLock()方法,而是直接調用了releaseLock()方法,並且他調用releaseLock()方法傳遞的key與你調用tryLock()方法傳遞的key是一樣的。那此時就會出現問題了,他在編寫代碼時,硬生生的將你加的鎖釋放了!!!

所以,上述代碼是不安全的,別人能夠隨隨便便的將你加的鎖刪除,這就是鎖的誤刪操作,這是非常危險的,所以,上述的程序存在很嚴重的問題!!

那如何實現只有加鎖的線程才能進行相應的解鎖操作呢? 繼續向下看。

如何實現加鎖和解鎖的歸一化?

什么是加鎖和解鎖的歸一化呢?簡單點來說,就是一個線程執行了加鎖操作后,后續必須由這個線程執行解鎖操作,加鎖和解鎖操作由同一個線程來完成。

為了解決只有加鎖的線程才能進行相應的解鎖操作的問題,那么,我們就需要將加鎖和解鎖操作綁定到同一個線程中,那么,如何將加鎖操作和解鎖操作綁定到同一個線程呢?其實很簡單,相信很多小伙伴都想到了—— 使用ThreadLocal實現 。沒錯,使用ThreadLocal類確實能夠解決這個問題。

此時,我們將RedisLockImpl類的代碼修改成如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        String uuid = UUID.randomUUID().toString();
        threadLocal.set(uuid);
        return stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        if(threadLocal.get().equals(stringRedisTemplate.opsForValue().get(key))){
         	stringRedisTemplate.delete(key);   
        }
    }
}

上述代碼的主要邏輯為:在對程序執行嘗試加鎖操作時,首先生成一個uuid,將生成的uuid綁定到當前線程,並將傳遞的key參數操作Redis中的key,生成的uuid作為Redis中的Value,保存到Redis中,同時設置超時時間。當執行解鎖操作時,首先,判斷當前線程中綁定的uuid是否和Redis中存儲的uuid相等,只有二者相等時,才會執行刪除鎖標志位的操作。這就避免了一個線程對程序進行了加鎖操作后,其他線程對這個鎖進行了解鎖操作的問題。

繼續分析

我們將加鎖和解鎖的方法改成如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    private String lockUUID;
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        String uuid = UUID.randomUUID().toString();
        threadLocal.set(uuid);
        lockUUID = uuid;
        return stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        if(lockUUID.equals(stringRedisTemplate.opsForValue().get(key))){
         	stringRedisTemplate.delete(key);   
        }
    }
}

相信很多小伙伴都會看出上述代碼存在什么問題了!! 沒錯,那就是 線程安全的問題。

所以,這里,我們需要使用ThreadLocal來解決線程安全問題。

可重入性分析

在上面的代碼中,當一個線程成功設置了鎖標志位后,其他的線程再設置鎖標志位時,就會返回失敗。還有一種場景就是在提交訂單的接口方法中,調用了服務A,服務A調用了服務B,而服務B的方法中存在對同一個商品的加鎖和解鎖操作。

所以,服務B成功設置鎖標志位后,提交訂單的接口方法繼續執行時,也不能成功設置鎖標志位了。也就是說,目前實現的分布式鎖沒有可重入性。

這里,就存在可重入性的問題了。我們希望設計的分布式鎖 具有可重入性 ,那什么是可重入性呢?簡單點來說,就是同一個線程,能夠多次獲取同一把鎖,並且能夠按照順序進行解決操作。

其實,在JDK 1.5之后提供的鎖很多都支持可重入性,比如synchronized和Lock。

如何實現可重入性呢?

映射到我們加鎖和解鎖方法時,我們如何支持同一個線程能夠多次獲取到鎖(設置鎖標志位)呢?可以這樣簡單的設計:如果當前線程沒有綁定uuid,則生成uuid綁定到當前線程,並且在Redis中設置鎖標志位。如果當前線程已經綁定了uuid,則直接返回true,證明當前線程之前已經設置了鎖標志位,也就是說已經獲取到了鎖,直接返回true。

結合以上分析,我們將提交訂單的接口方法代碼改造成如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        Boolean isLocked = false;
        if(threadLocal.get() == null){
            String uuid = UUID.randomUUID().toString();
        	threadLocal.set(uuid);
            isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
        }else{
            isLocked = true;   
        }
        return isLocked;
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        if(threadLocal.get().equals(stringRedisTemplate.opsForValue().get(key))){
         	stringRedisTemplate.delete(key);   
        }
    }
}

這樣寫看似沒有啥問題,但是大家細想一下,這樣寫就真的OK了嗎?

可重入性的問題分析

既然上面分布式鎖的可重入性是存在問題的,那我們就來分析下問題的根源在哪里!

假設我們提交訂單的方法中,首先使用RedisLock接口對代碼塊添加了分布式鎖,在加鎖后的代碼中調用了服務A,而服務A中也存在調用RedisLock接口的加鎖和解鎖操作。而多次調用RedisLock接口的加鎖操作時,只要之前的鎖沒有失效,則會直接返回true,表示成功獲取鎖。也就是說,無論調用加鎖操作多少次,最終只會成功加鎖一次。而執行完服務A中的邏輯后,在服務A中調用RedisLock接口的解鎖方法,此時,會將當前線程所有的加鎖操作獲得的鎖全部釋放掉。

我們可以使用下圖來簡單的表示這個過程。

那么問題來了,如何解決可重入性的問題呢?

解決可重入性問題

相信很多小伙伴都能夠想出使用計數器的方式來解決上面可重入性的問題,沒錯,就是使用計數器來解決。 整體流程如下所示。

那么,體現在程序代碼上是什么樣子呢?我們來修改RedisLockImpl類的代碼,如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    private ThreadLocal<Integer> threadLocalInteger = new ThreadLocal<Integer>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        Boolean isLocked = false;
        if(threadLocal.get() == null){
            String uuid = UUID.randomUUID().toString();
        	threadLocal.set(uuid);
            isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
        }else{
            isLocked = true;   
        }
        //加鎖成功后將計數器加1
        if(isLocked){
            Integer count = threadLocalInteger.get() == null ? 0 : threadLocalInteger.get();
            threadLocalInteger.set(count++);
        }
        return isLocked;
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        if(threadLocal.get().equals(stringRedisTemplate.opsForValue().get(key))){
            Integer count = threadLocalInteger.get();
            //計數器減為0時釋放鎖
            if(count == null || --count <= 0){
             	stringRedisTemplate.delete(key);      
            }
        }
    }
}

至此,我們基本上解決了分布式鎖的可重入性問題。

說到這里,我還要問大家一句,上面的解決問題的方案真的沒問題了嗎?

阻塞與非阻塞鎖

在提交訂單的方法中,當獲取Redis分布式鎖失敗時,我們直接返回了failure來表示當前請求下單的操作失敗了。試想,在高並發環境下,一旦某個請求獲得了分布式鎖,那么,在這個請求釋放鎖之前,其他的請求調用下單方法時,都會返回下單失敗的信息。在真實場景中,這是非常不友好的。我們可以將后續的請求進行阻塞,直到當前請求釋放鎖后,再喚醒阻塞的請求獲得分布式鎖來執行方法。

所以,我們設計的分布式鎖需要支持 阻塞和非阻塞 的特性。

那么,如何實現阻塞呢?我們可以使用自旋來實現,繼續修改RedisLockImpl的代碼如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    private ThreadLocal<Integer> threadLocalInteger = new ThreadLocal<Integer>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        Boolean isLocked = false;
        if(threadLocal.get() == null){
            String uuid = UUID.randomUUID().toString();
        	threadLocal.set(uuid);
            isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
            //如果獲取鎖失敗,則自旋獲取鎖,直到成功
            if(!isLocked){
                for(;;){
                    isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
                    if(isLocked){
                        break;
                    }
                }
            }
        }else{
            isLocked = true;   
        }
        //加鎖成功后將計數器加1
        if(isLocked){
            Integer count = threadLocalInteger.get() == null ? 0 : threadLocalInteger.get();
            threadLocalInteger.set(count++);
        }
        return isLocked;
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        if(threadLocal.get().equals(stringRedisTemplate.opsForValue().get(key))){
            Integer count = threadLocalInteger.get();
            //計數器減為0時釋放鎖
            if(count == null || --count <= 0){
             	stringRedisTemplate.delete(key);      
            }
        }
    }
}

在分布式鎖的設計中,阻塞鎖和非阻塞鎖 是非常重要的概念,大家一定要記住這個知識點。

鎖失效問題

盡管我們實現了分布式鎖的阻塞特性,但是還有一個問題是我們不得不考慮的。那就是 鎖失效 的問題。

當程序執行業務的時間超過了鎖的過期時間會發生什么呢? 想必很多小伙伴都能夠想到,那就是前面的請求沒執行完,鎖過期失效了,后面的請求獲取到分布式鎖,繼續向下執行了,程序無法做到真正的互斥,無法保證業務的原子性了。

那如何解決這個問題呢?答案就是:我們必須保證在業務代碼執行完畢后,才能釋放分布式鎖。 方案是有了,那如何實現呢?

說白了,我們需要在業務代碼中,時不時的執行下面的代碼來保證在業務代碼沒執行完時,分布式鎖不會因超時而被釋放。

springRedisTemplate.expire(PRODUCT_ID, 30, TimeUnit.SECONDS);

這里,我們需要定義一個定時策略來執行上面的代碼,需要注意的是:我們不能等到30秒后再執行上述代碼,因為30秒時,鎖已經失效了。例如,我們可以每10秒執行一次上面的代碼。

有些小伙伴說,直接在RedisLockImpl類中添加一個while(true)循環來解決這個問題,那我們就這樣修改下RedisLockImpl類的代碼,看看有沒有啥問題。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    private ThreadLocal<Integer> threadLocalInteger = new ThreadLocal<Integer>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        Boolean isLocked = false;
        if(threadLocal.get() == null){
            String uuid = UUID.randomUUID().toString();
        	threadLocal.set(uuid);
            isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
            //如果獲取鎖失敗,則自旋獲取鎖,直到成功
            if(!isLocked){
                for(;;){
                    isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
                    if(isLocked){
                        break;
                    }
                }
            }
            //定義更新鎖的過期時間
            while(true){
                Integer count = threadLocalInteger.get();
                //當前鎖已經被釋放,則退出循環
                if(count == 0 || count <= 0){
                    break;
                }
                springRedisTemplate.expire(key, 30, TimeUnit.SECONDS);
                try{
                    //每隔10秒執行一次
                    Thread.sleep(10000);
                }catch (InterruptedException e){
                    e.printStackTrace();
                }
            }
        }else{
            isLocked = true;   
        }
        //加鎖成功后將計數器加1
        if(isLocked){
            Integer count = threadLocalInteger.get() == null ? 0 : threadLocalInteger.get();
            threadLocalInteger.set(count++);
        }
        return isLocked;
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        if(threadLocal.get().equals(stringRedisTemplate.opsForValue().get(key))){
            Integer count = threadLocalInteger.get();
            //計數器減為0時釋放鎖
            if(count == null || --count <= 0){
             	stringRedisTemplate.delete(key);      
            }
        }
    }
}

相信小伙伴們看了代碼就會發現哪里有問題了:更新鎖過期時間的代碼肯定不能這么去寫。因為這么寫會 導致當前線程在更新鎖超時時間的while(true)循環中一直阻塞而無法返回結果。 所以,我們不能將當前線程阻塞,需要異步執行定時任務來更新鎖的過期時間。

此時,我們繼續修改RedisLockImpl類的代碼,將定時更新鎖超時的代碼放到一個單獨的線程中執行,如下所示。

public class RedisLockImpl implements RedisLock{
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    
    private ThreadLocal<String> threadLocal = new ThreadLocal<String>();
    
    private ThreadLocal<Integer> threadLocalInteger = new ThreadLocal<Integer>();
    
    @Override
    public boolean tryLock(String key, long timeout, TimeUnit unit){
        Boolean isLocked = false;
        if(threadLocal.get() == null){
            String uuid = UUID.randomUUID().toString();
        	threadLocal.set(uuid);
            isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
            //如果獲取鎖失敗,則自旋獲取鎖,直到成功
            if(!isLocked){
                for(;;){
                    isLocked = stringRedisTemplate.opsForValue().setIfAbsent(key, uuid, timeout, unit);
                    if(isLocked){
                        break;
                    }
                }
            }
            //啟動新線程來執行定時任務,更新鎖過期時間
           new Thread(new UpdateLockTimeoutTask(uuid, stringRedisTemplate, key)).start();
        }else{
            isLocked = true;   
        }
        //加鎖成功后將計數器加1
        if(isLocked){
            Integer count = threadLocalInteger.get() == null ? 0 : threadLocalInteger.get();
            threadLocalInteger.set(count++);
        }
        return isLocked;
    }
    @Override
    public void releaseLock(String key){
        //當前線程中綁定的uuid與Redis中的uuid相同時,再執行刪除鎖的操作
        String uuid = stringRedisTemplate.opsForValue().get(key);
        if(threadLocal.get().equals(uuid)){
            Integer count = threadLocalInteger.get();
            //計數器減為0時釋放鎖
            if(count == null || --count <= 0){
             	stringRedisTemplate.delete(key); 
                //獲取更新鎖超時時間的線程並中斷
                long threadId = stringRedisTemplate.opsForValue().get(uuid);
                Thread updateLockTimeoutThread = ThreadUtils.getThreadByThreadId(threadId);
                if(updateLockTimeoutThread != null){
                     //中斷更新鎖超時時間的線程
                    updateLockTimeoutThread.interrupt();
                    stringRedisTemplate.delete(uuid);   
                }
            }
        }
    }
}

創建UpdateLockTimeoutTask類來執行更新鎖超時的時間。

public class UpdateLockTimeoutTask implements Runnable{
    //uuid
    private long uuid;
    private StringRedisTemplate stringRedisTemplate;
    private String key;
    public UpdateLockTimeoutTask(long uuid, StringRedisTemplate stringRedisTemplate, String key){
        this.uuid = uuid;
        this.stringRedisTemplate = stringRedisTemplate;
        this.key = key;
    }
    @Override
    public void run(){
        //以uuid為key,當前線程id為value保存到Redis中
        stringRedisTemplate.opsForValue().set(uuid, Thread.currentThread().getId());
         //定義更新鎖的過期時間
        while(true){
            springRedisTemplate.expire(key, 30, TimeUnit.SECONDS);
            try{
                //每隔10秒執行一次
                Thread.sleep(10000);
            }catch (InterruptedException e){
                e.printStackTrace();
            }
        }
    }
}

接下來,我們定義一個ThreadUtils工具類,這個工具類中有一個根據線程id獲取線程的方法getThreadByThreadId(long threadId)。

public class ThreadUtils{
    //根據線程id獲取線程句柄
    public static Thread getThreadByThreadId(long threadId){
        ThreadGroup group = Thread.currentThread().getThreadGroup();
        while(group != null){
            Thread[] threads = new Thread[(int)(group.activeCount() * 1.2)];
            int count = group.enumerate(threads, true);
            for(int i = 0; i < count; i++){
                if(threadId == threads[i].getId()){
                    return threads[i];
                }
            }
        }
    }
}

上述解決分布式鎖失效的問題在分布式鎖領域有一個專業的術語叫做 “異步續命” 。需要注意的是:當業務代碼執行完畢后,我們需要停止更新鎖超時時間的線程。所以,這里,我對程序的改動是比較大的,首先,將更新鎖超時的時間任務重新定義為一個UpdateLockTimeoutTask類,並將uuid和StringRedisTemplate注入到任務類中,在執行定時更新鎖超時時間時,首先將當前線程保存到Redis中,其中Key為傳遞進來的uuid。

在首先獲取分布式鎖后,重新啟動線程,並將uuid和StringRedisTemplate傳遞到任務類中執行任務。當業務代碼執行完畢后,調用releaseLock()方法釋放鎖時,我們會通過uuid從Redis中獲取更新鎖超時時間的線程id,並通過線程id獲取到更新鎖超時時間的線程,調用線程的interrupt()方法來中斷線程。

此時,當分布式鎖釋放后,更新鎖超時的線程就會由於線程中斷而退出了。

實現分布式鎖的基本要求

結合上述的案例,我們可以得出實現分布式鎖的基本要求:

  • 支持互斥性
  • 支持鎖超時
  • 支持阻塞和非阻塞特性
  • 支持可重入性
  • 支持高可用

通用分布式解決方案

在互聯網行業,分布式鎖是一個繞不開的話題,同時,也有很多通用的分布式鎖解決方案,其中,用的比較多的一種方案就是使用開源的Redisson框架來解決分布式鎖問題。

有關Redisson分布式鎖的使用方案大家可以參考《【高並發】你知道嗎?大家都在使用Redisson實現分布式鎖了!!

既然Redisson框架已經很牛逼了,我們直接使用Redisson框架是否能夠100%的保證分布式鎖不出問題呢?答案是無法100%的保證。因為在分布式領域沒有哪一家公司或者架構師能夠保證100%的不出問題,就連阿里這樣的大公司、阿里的首席架構師這樣的技術大牛也不敢保證100%的不出問題。

在分布式領域,無法做到100%無故障,我們追求的是幾個9的目標,例如99.999%無故障。

CAP理論

在分布式領域,有一個非常重要的理論叫做CAP理論。

  • C:Consistency(一致性)
  • A:Availability(可用性)
  • P:Partition tolerance(分區容錯性)

在分布式領域中,是必須要保證分區容錯性的,也就是必須要保證“P”,所以,我們只能保證CP或者AP。

這里,我們可以使用Redis和Zookeeper來進行簡單的對比,我們可以使用Redis實現AP架構的分布式鎖,使用Zookeeper實現CP架構的分布式鎖。

  • 基於Redis的AP架構的分布式鎖模型

在基於Redis實現的AP架構的分布式鎖模型中,向Redis節點1寫入數據后,會立即返回結果,之后在Redis中會以異步的方式來同步數據。

  • 基於Zookeeper的CP架構的分布式鎖模型

在基於Zookeeper實現的CP架構的分布式模型中,向節點1寫入數據后,會等待數據的同步結果,當數據在大多數Zookeeper節點間同步成功后,才會返回結果數據。

當我們使用基於Redis的AP架構實現分布式鎖時,需要注意一個問題,這個問題可以使用下圖來表示。

也就是Redis主從節點之間的數據同步失敗,假設線程向Master節點寫入了數據,而Redis中Master節點向Slave節點同步數據失敗了。此時,另一個線程讀取的Slave節點中的數據,發現沒有添加分布式鎖,此時就會出現問題了!!!

所以,在設計分布式鎖方案時,也需要注意Redis節點之間的數據同步問題。

紅鎖的實現

在Redisson框架中,實現了紅鎖的機制,Redisson的RedissonRedLock對象實現了Redlock介紹的加鎖算法。該對象也可以用來將多個RLock對象關聯為一個紅鎖,每個RLock對象實例可以來自於不同的Redisson實例。當紅鎖中超過半數的RLock加鎖成功后,才會認為加鎖是成功的,這就提高了分布式鎖的高可用。

我們可以使用Redisson框架來實現紅鎖。

public void testRedLock(RedissonClient redisson1,RedissonClient redisson2, RedissonClient redisson3){
	RLock lock1 = redisson1.getLock("lock1");
	RLock lock2 = redisson2.getLock("lock2");
	RLock lock3 = redisson3.getLock("lock3");
	RedissonRedLock lock = new RedissonRedLock(lock1, lock2, lock3);
	try {
		// 同時加鎖:lock1 lock2 lock3, 紅鎖在大部分節點上加鎖成功就算成功。
		lock.lock();
		// 嘗試加鎖,最多等待100秒,上鎖以后10秒自動解鎖
		boolean res = lock.tryLock(100, 10, TimeUnit.SECONDS);
	} catch (InterruptedException e) {
		e.printStackTrace();
	} finally {
		lock.unlock();
	}
}

其實,在實際場景中,紅鎖是很少使用的。這是因為使用了紅鎖后會影響高並發環境下的性能,使得程序的體驗更差。所以,在實際場景中,我們一般都是要保證Redis集群的可靠性。同時,使用紅鎖后,當加鎖成功的RLock個數不超過總數的一半時,會返回加鎖失敗,即使在業務層面任務加鎖成功了,但是紅鎖也會返回加鎖失敗的結果。另外,使用紅鎖時,需要提供多套Redis的主從部署架構,同時,這多套Redis主從架構中的Master節點必須都是獨立的,相互之間沒有任何數據交互。

高並發“黑科技”與致勝奇招

假設,我們就是使用Redis來實現分布式鎖,假設Redis的讀寫並發量在5萬左右。我們的商城業務需要支持的並發量在100萬左右。如果這100萬的並發全部打入Redis中,Redis很可能就會掛掉,那么,我們如何解決這個問題呢?接下來,我們就一起來探討這個問題。

在高並發的商城系統中,如果采用Redis緩存數據,則Redis緩存的並發處理能力是關鍵,因為很多的前綴操作都需要訪問Redis。而異步削峰只是基本的操作,關鍵還是要保證Redis的並發處理能力。

解決這個問題的關鍵思想就是:分而治之,將商品庫存分開放。

暗度陳倉

我們在Redis中存儲商品的庫存數量時,可以將商品的庫存進行“分割”存儲來提升Redis的讀寫並發量。

例如,原來的商品的id為10001,庫存為1000件,在Redis中的存儲為(10001, 1000),我們將原有的庫存分割為5份,則每份的庫存為200件,此時,我們在Redia中存儲的信息為(10001_0, 200),(10001_1, 200),(10001_2, 200),(10001_3, 200),(10001_4, 200)。

此時,我們將庫存進行分割后,每個分割后的庫存使用商品id加上一個數字標識來存儲,這樣,在對存儲商品庫存的每個Key進行Hash運算時,得出的Hash結果是不同的,這就說明,存儲商品庫存的Key有很大概率不在Redis的同一個槽位中,這就能夠提升Redis處理請求的性能和並發量。

分割庫存后,我們還需要在Redis中存儲一份商品id和分割庫存后的Key的映射關系,此時映射關系的Key為商品的id,也就是10001,Value為分割庫存后存儲庫存信息的Key,也就是10001_0,10001_1,10001_2,10001_3,10001_4。在Redis中我們可以使用List來存儲這些值。

在真正處理庫存信息時,我們可以先從Redis中查詢出商品對應的分割庫存后的所有Key,同時使用AtomicLong來記錄當前的請求數量,使用請求數量對從Redia中查詢出的商品對應的分割庫存后的所有Key的長度進行求模運算,得出的結果為0,1,2,3,4。再在前面拼接上商品id就可以得出真正的庫存緩存的Key。此時,就可以根據這個Key直接到Redis中獲取相應的庫存信息。

同時,我們可以將分隔的不同的庫存數據分別存儲到不同的Redis服務器中,進一步提升Redis的並發量。

移花接木

在高並發業務場景中,我們可以直接使用Lua腳本庫(OpenResty)從負載均衡層直接訪問緩存。

這里,我們思考一個場景:如果在高並發業務場景中,商品被瞬間搶購一空。此時,用戶再發起請求時,如果系統由負載均衡層請求應用層的各個服務,再由應用層的各個服務訪問緩存和數據庫,其實,本質上已經沒有任何意義了,因為商品已經賣完了,再通過系統的應用層進行層層校驗已經沒有太多意義了!!而應用層的並發訪問量是以百為單位的,這又在一定程度上會降低系統的並發度。

為了解決這個問題,此時,我們可以在系統的負載均衡層取出用戶發送請求時攜帶的用戶id,商品id和活動id等信息,直接通過Lua腳本等技術來訪問緩存中的庫存信息。如果商品的庫存小於或者等於0,則直接返回用戶商品已售完的提示信息,而不用再經過應用層的層層校驗了。

寫在最后

如果覺得文章對你有點幫助,請微信搜索並關注「 冰河技術 」微信公眾號,跟冰河學習高並發編程技術。

最后,附上並發編程需要掌握的核心技能知識圖,祝大家在學習並發編程時,少走彎路。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM