nginx+lua打造10K qps+的web應用

背景篇

　　由於項目流量越來越大，之前的nginx＋php-fpm的架構已經難以承受峰值流量的沖擊，春節期間集群負載一度長時間維持0%的idle，於是這段時間逐漸對舊系統進行重構。

　　受高人指點，發現lua這個好東西。因此在技術選型上，我們使用lua代替部分的php邏輯，比如請求的過濾。lua是一種可以嵌入nginx配置文件的動態語言，結合nginx的請求處理過程（參見另一篇博文），lua可以在這些階段接管請求的處理。

　　我們的環境使用openresty搭建，openresty包括了很多nginx常用擴展，對於沒有定制過nginx代碼的我們來說比較方便。

　　這里有一句比較關鍵的話，nginx配置文件的定義，是“聲明”性質的，而不是“過程”性質的。nginx處理請求的階段，是按一定順序執行的，無論配置文件寫的順序如何都不影響它們的執行順序，比如set一定在content之前。我們在項目中常能用到的:set_by_lua,可以用來進行變量的計算，access_by_lua，可以用來設置訪問權限，content_by_lua是用來生成返回的內容，log_by_lua用來設置日志。

（lua的基本語法可以先參考這篇http://17173ops.com/tag/nginx_lua#toc12,個人覺得寫的很清楚，很易懂。lua中需要用到的nginx的api參考http://wiki.nginx.org/HttpLuaModule）

使用lua編程要注意的問題：

1.lua不能對空數組（nil）進行索引！

2.lua的異常處理。比如的cjson庫，在解析失敗的時候，會直接拋異常從而中斷腳本的執行，這里可以用cjson.safe來代替cjson，也可以采用這樣的寫法：

cache = switcher:get(key)
ret,errmsg = pcall(cjson.decode,cache);
if ret then
    return errmsg;
else
    return false;
end

就相當於在腳本中捕獲異常，也可以封裝try...catch

3.lua的字符串連接操作，也就是..，只支持字符串之間的連接，不支持字符串＋數字或者是字符串＋布爾，必須要顯式轉換類型

4.不要使用lua原生的io庫，這會導致nginx進程阻塞！最好使用例如ngx.location.capture這樣的函數，將io事件托管給nginx

 

實現篇

　　我們的應用場景，是應對大量客戶端（android，ios）的請求（4台linux服務器，應對10K＋的qps），而業務邏輯相對簡單，更多的是希望做流量的過濾。為了保護后端模塊不會被突然上升的流量擊垮，我們必須有一個強有力的前端，能較為輕松的抗住最大峰值流量，並進行相應的操作。這里我們用白名單的實現為例。貼上部分業務邏輯代碼。因為某些原因，代碼經過了刪減，不能保證能運行，只是示例。

local cjson = require "cjson";
local agent = ngx.req.get_headers()["user-agent"];
local switcher = ngx.shared.dict;

local UPLOAD_OK = '{"errno":0,"msg":""}';
local UPLOAD_FAIL = '{"errno":-1,"msg":""}';
local SHUT_DOWN = '{"errno":1,"msg":""}';

local CACHE_TIME_OUT = 10; --in second

local say = UPLOAD_FAIL;

function parseInput(agent)
    ret,errmsg = pcall(cjson.decode,agent);
    if ret then
        return errmsg;
    else
        return false;
    end
end

function checkCache(key)
    if switcher == nil then
        return false;
    else
        cache = switcher:get(key)
        ret,errmsg = pcall(cjson.decode,cache);
        if ret then
            return errmsg;
        else
            return false;
        end
    end
end

function check(input)
    appkey = input["arg0"];
    appvn = input["arg1"];
    if switcher == nil then
        ngx.log(ngx.INFO, "switcher nil");
        return false;
    else
        status = checkCache(appkey..appvn);
        if not status then
            ngx.log(ngx.INFO, "parse response failed");
            return false;
        else
            if status["lastmod"] == nil then
                ngx.log(ngx.INFO, "lastmod nil");
                return false;
            elseif status["lastmod"] < ( ngx.now() - CACHE_TIME_OUT ) then
                ngx.log(ngx.INFO, "lastmod:"..status["lastmod"]..",outdated");
                return false;
            else
                return status["switch"];
            end
        end
    end
end

function reload(arg0, arg1)
    response = ngx.location.capture("/switch_url");
    status = cjson.decode(response.body);
    result = {};
    result["switch"] = status["switch"];
    result["lastmod"] = ngx.now();
    switcher:set(arg0..arg1, cjson.encode(result));
    return status["switch"];
end

function reply(result)
    if result == 0 then
        ngx.log(ngx.WARN, "it has been shut down");
        ngx.say(SHUT_DOWN);
    else
        request = {
            method = ngx.HTTP_POST,
            body = ngx.req.read_body(),
        }
        response = ngx.location.capture("real_url", request);
        ret,errmsg = pcall(cjson.decode,response.body);
        if ret then
            if "your_contidion" then
                return UPLOAD_OK;
            else
                return UPLOAD_FAIL;
            end
        else
            return UPLOAD_FAIL;
        end
    end
end

--switch 0=off 1=on
if agent == nil then
    --input empty
    ngx.say(say);
else
    ngx.log(ngx.INFO, "agent:"..agent);
    input = parseInput(agent);
    if input then
        --input correct
        ngx.log(ngx.INFO, "input correct");
        result = check(input)
        if result == false then
            --no cache or cache outdated, needs reload
            ngx.log(ngx.INFO, "invalid cache, needs reload");
            result = reload(input["arg0"],input["arg1"]);
            say = reply(result);
        else
            --cache ok
            ngx.log(ngx.INFO, "cache ok");
            say = reply(result);
        end
    else
        --input error
        say = UPLOAD_FAIL;
    end
end
ngx.log(ngx.INFO, "ngx says:"..say);
ngx.say(say);

 

上述代碼實現了一個簡單的高性能開關，每10秒從后端php加載一次開關狀態(switch_url)，根據請求的arg0和arg1來判斷是不是要轉發到real_url,從而保護真實服務不被流量沖擊。在這里使用了nginx的共享內存。

在nginx的location里這樣配置

lua_code_cache off; //開發的時候off，
set_form_input $name;
content_by_lua_file 'conf/switch.lua'; 
error_log logs/pipedir/lua.log info;

在http配置里務必要記得配置共享內存

lua_shared_dict dict 10m;

 

性能測試：

nginx＋lua：

php：800qps，就不上圖了。。

一些個人感想：

看了一些帖子，都是通過lua直接訪問redis獲取白名單，或者是memcache，mysql，訪問其他數據，個人覺得這樣其實違背了系統設計的依賴關系，在lua中拼redis key很容易引發由高耦合引發的問題，例如拼錯了key，但是怎么也找不到bug，因此我這里設計成了lua中通過ngx.location.capture訪問現成的服務，相當於lua之依賴這個接口，實現了解耦