openresty中http請求body數據過大的處理方案

項目中由於數據過大，在openresty中使用

ngx.req.read_body()
local args = ngx.req.get_body_data()

然后flink任務中的消費者Consumer拿到的數據是body部分是空數據，其他數據是正常的，推斷是文件大小受限，導致拿不到數據。

1、排查1，檢查nginx的配置，查看是否有對文件的限制，ngxin中使用了

 

可以確定，nginx對文件沒有限制，

然后繼續下一步跟蹤，由於下一步的處理是轉到openresty處理，所以大概率是openresty的問題了，查看openresty最佳實踐發現：

client_max_body_size
client_max_body_size 默認 1M，表示 客戶端請求服務器最大允許大小，在“Content-Length”請求頭中指定。如果請求的正文數據大於client_max_body_size，HTTP協議會報錯 413 Request Entity Too Large。就是說如果請求的正文大於client_max_body_size，一定是失敗的。如果需要上傳大文件，一定要修改該值。

client_body_buffer_size
Nginx分配給請求數據的Buffer大小，如果請求的數據小於client_body_buffer_size直接將數據先在內存中存儲。如果請求的值大於client_body_buffer_size小於client_max_body_size，就會將數據先存儲到臨時文件中，在哪個臨時文件中呢？
client_body_temp 指定的路徑中，默認該路徑值是/tmp/.
所以配置的client_body_temp地址，一定讓執行的Nginx的用戶組有讀寫權限。否則，當傳輸的數據大於client_body_buffer_size，寫進臨時文件失敗會報錯。

 

處理辦法：

在這個問題上和語言就相關了，如果使用的是PHP，PHP會自己將臨時文件讀取出來，放置到請求數據里面，這是沒有問題的，開發者也不需要關心。肯定是完整的數據。
如果使用的openresty lua 開發的話，就需要開發者自己讀取出來，讓后續的邏輯使用。

location /xx/xx/xx/xx {
        # 響應正常，內容為空
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        empty_gif;
        client_max_body_size 50m;
        client_body_buffer_size 10m;

        content_by_lua_block{

        local topic = ""
        local cjson = require "cjson"
        local producer = require "resty.kafka.producer"
        -- 定義kafka broker地址，ip需要和kafka的host.name配置一致
        local broker_list = {
                { host = "", port = },
                { host = "", port = },
                { host = "", port = }
        }
        -- 定義json便於日志數據整理收集
        local data_json = {}
        ngx.req.read_body()
        local args = ngx.req.get_body_data()
        if nil == args then
                local temp_file_name = ngx.req.get_body_file()
                ngx.log(ngx.ERR, "Body data in temp file: ", temp_file_name)
                if temp_file_name then
                        local f = assert(io.open(file_name, 'r'))
                        local body_data = f:read("*all")
                        f:close()
                        args =  body_data
                        ngx.log(ngx.ERR, "Body: ", args)
                end
         end

        -- ngx.log(ngx.ERR, "kafka receive msg:", args)
        data_json["body"] = ngx.encode_base64(args)
        data_json["u_time"] = ngx.now() * 1000
        -- 轉換json為字符串
        local message = cjson.encode(data_json);
        -- ngx.log(ngx.ERR, "args:", message)
        -- 定義kafka異步生產者
        local bp = producer:new(broker_list, { producer_type = "async" })
        -- 發送日志消息,send第二個參數key,用於kafka路由控制:
        -- key為nill(空)時，一段時間向同一partition寫入數據
        -- 指定key，按照key的hash寫入到對應的partition
        local ok, err = bp:send(topic, nil, message)

        if not ok then
                 ngx.log(ngx.ERR, "kafka enter msg:", args)
                 return
            end
        }
   }

　

總結
傳輸的數據大於client_max_body_size，一定是傳不成功的。小於client_body_buffer_size直接在內存中高效存儲。如果大於client_body_buffer_size小於client_max_body_size會存儲臨時文件，臨時文件一定要有權限。
如果追求效率，就設置 client_max_body_size client_body_buffer_size相同的值，這樣就不會存儲臨時文件，直接存儲在內存了。