算法原理
固定窗口算法又稱計數器算法,是一種簡單的限流算法。在單位時間內設定一個閾值和一個計數值,每收到一個請求則計數值加一,如果計數值超過閾值則觸發限流,如果達不到則請求正常處理,進入下一個單位時間后,計數值清零,重新累計。
如上圖所示,時間單位是1秒,閾值是3。
-
第1秒3個請求,不會觸發限流;
-
第2秒1個請求,不會觸發限流;
-
第3秒4個請求,這一秒的前3個請求正常處理,第4個請求觸發限流,會被拒絕處理。
-
后續第4秒、第5秒不會觸發限流,所有請求正常處理。
算法實現
這里講兩種實現方法:進程內即內存固定窗口算法、基於Redis的固定窗口算法。
進程內即內存固定窗口算法
使用字典,Key是限流目標,Value包括計數值和過期時間。處理請求時,首先從請求中提取限流目標,然后根據限流目標去字典中查找,如果不存在,則添加一個字典項,計數值是1,過期時間是當前時間+限流單位時間;如果存在,則檢查是否過期,如果過期,則計數值歸1,過期時間是當前時間+限流單位時間,如果未過期,則僅計數值加1。這里需要注意多線程問題,讀寫數據時需要加鎖。
在C#語言中可以使用MemoryCache,它的緩存項有一個過期時間,不需要自己回收過期的項目。
進程內計數的方法最適合單實例處理的程序限流,多實例處理的情況下可能每個實例收到的請求數不均勻,不能保證限流效果。
基於Redis的固定窗口算法
Redis作為KV存儲,類似於字典,而且也自帶過期時間。處理請求時,首先從請求中提取限流目標,然后根據限流目標去Redis中查找,如果不存在,則添加KV項,Value值是1,過期時間是當前時間+限流單位時間;如果存在,則Value值加1。
這些操作邏輯可以封裝在一個Lua script中,因為Lua script在Redis中執行時也是原子操作,所以Redis的限流計數在分布式處理時天然就是准確的。
算法應用
這里以限流組件 FireflySoft.RateLimit 為例,實現ASP.NET Core中的固定窗口限流。
1、安裝Nuget包
有多種安裝方式,選擇自己喜歡的就行了。
包管理器命令:
Install-Package FireflySoft.RateLimit.AspNetCore
或者.NET命令:
dotnet add package FireflySoft.RateLimit.AspNetCore
或者項目文件直接添加:
<ItemGroup>
<PackageReference Include="FireflySoft.RateLimit.AspNetCore" Version="2.*" />
</ItemGroup>
2、使用中間件
在Startup中使用中間件,演示代碼如下(下邊會有詳細說明):
public void ConfigureServices(IServiceCollection services)
{
...
app.AddRateLimit(new InProcessFixedWindowAlgorithm(
new[] {
new FixedWindowRule()
{
ExtractTarget = context =>
{
// 提取限流目標
return (context as HttpContext).Request.Path.Value;
},
CheckRuleMatching = context =>
{
// 判斷當前請求是否需要限流處理
return true;
},
Name="fixed window limit rule",
LimitNumber=30, // 限流閾值
StatWindow=TimeSpan.FromSeconds(1) // 限流單位時間
}
})
);
...
}
public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
...
app.UseRateLimit();
...
}
如上需要先注冊服務,然后使用中間件。
注冊服務的時候需要提供限流算法和對應的規則:
- 這里使用進程內固定窗口算法InProcessFixedWindowAlgorithm,還可以使用RedisFixedWindowAlgorithm,需要傳入一個Redis連接。
- 限流閾值是30,限流單位時間是1秒。
- ExtractTarget用於提取限流目標,這里是每個不同的請求Path。如果有IO請求,這里還支持對應的異步方法ExtractTargetAsync。
- CheckRuleMatching用於驗證當前請求是否限流。如果有IO請求,這里還支持對應的異步方法CheckRuleMatchingAsync。
- 默認被限流時會返回HttpStatusCode 429,可以在AddRateLimit時使用可選參數error自定義這個值,以及Http Header和Body中的內容。
基本的使用就是上邊例子中的這些了。
如果還是基於傳統的.NET Framework,則需要在Application_Start中注冊一個消息處理器RateLimitHandler,算法和規則部分都是共用的,具體可以看Github上的使用說明:https://github.com/bosima/FireflySoft.RateLimit#aspnet
FireflySoft.RateLimit 是一個基於 .NET Standard 的限流類庫,其內核簡單輕巧,能夠靈活應對各種需求的限流場景。
其主要特點包括:
- 多種限流算法:內置固定窗口、滑動窗口、漏桶、令牌桶四種算法,還可自定義擴展。
- 多種計數存儲:目前支持內存、Redis兩種存儲方式。
- 分布式友好:通過Redis存儲支持分布式程序統一計數。
- 限流目標靈活:可以從請求中提取各種數據用於設置限流目標。
- 支持限流懲罰:可以在客戶端觸發限流后鎖定一段時間不允許其訪問。
- 動態更改規則:支持程序運行時動態更改限流規則。
- 自定義錯誤:可以自定義觸發限流后的錯誤碼和錯誤消息。
- 普適性:原則上可以滿足任何需要限流的場景。
Github開源地址:https://github.com/bosima/FireflySoft.RateLimit
收獲更多架構知識,請關注公眾號 螢火架構。原創內容,轉載請注明出處。