Openresty簡介
OpenResty® 是一個結合了 Nginx 與 Lua 的高性能 Web 平台,其內部集成了大量精良的 Lua 庫、第三方模塊以及大多數的依賴項。用於方便地搭建能夠處理超高並發、擴展性極高的動態 Web 應用、Web 服務和動態網關。
OpenResty® 通過匯聚各種設計精良的 Nginx 模塊(主要由 OpenResty 團隊自主開發),從而將 Nginx 有效地變成一個強大的通用 Web 應用平台。這樣,Web 開發人員和系統工程師可以使用 Lua 腳本語言調動 Nginx 支持的各種 C 以及 Lua 模塊,快速構造出足以勝任 10K 乃至 1000K 以上單機並發連接的高性能 Web 應用系統。
OpenResty® 的目標是讓你的Web服務直接跑在 Nginx 服務內部,充分利用 Nginx 的非阻塞 I/O 模型,不僅僅對 HTTP 客戶端請求,甚至於對遠程后端諸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都進行一致的高性能響應。
Openresty安裝
以下采用CentOS 7.6進行部署
1.安裝依賴開發組件
- pcre-devel: 擴展的正則表達式引擎,為了使Nginx處理更復雜的正則表達式機制
- openssl-devel:–with-http_ssl_module使用該模塊必需裝openssl庫,來實現http支持https協議
- zlib-devel:zlib庫是網絡通信壓縮庫,ngx_http_gzip_module(gzip壓縮模塊)所必需的
- readline-devel:readline是安裝Openresty所必須的依賴包
yum install gcc-c++ libtool gmake make -yyum install pcre pcre-devel openssl openssl-devel zlib zlib-devel readline readline-devel-y
2.創建nginx用戶組
Nginx的Master主進程以root用戶身份運行,而worker子進程我們指定它為nginx用戶運行
groupadd nginxuseradd -d /home/nginx -g nginx -s /sbin/nginx nginx
3.下載編譯並安裝Openresty
wget https://openresty.org/download/openresty-1.17.8.2.tar.gztar xf openresty-1.17.8.2.tar.gzcd openresty-1.17.8.2./configure --prefix=/usr/local/openresty \--sbin-path=/usr/local/openresty/nginx/sbin/nginx \--conf-path=/usr/local/openresty/nginx/conf/nginx.conf \--pid-path=/usr/local/openresty/nginx/run/nginx.pid \--error-log-path=/usr/local/openresty/nginx/logs/error.log \--http-log-path=/usr/local/openresty/nginx/logs/access.log \--user=nginx \--group=nginx \--with-pcre \--with-stream \--with-threads \--with-file-aio \--with-http_v2_module \--with-http_ssl_module \--with-http_realip_module \--with-http_gzip_static_module \--with-http_stub_status_modulegamke && gmake install
4.為Openresty添加環境變量
vim /etc/profile.d/openresty.shexport PATH=/usr/local/openresty/bin:$PATH
5.添加location配置確認結合了Nginx與Lua的Openresty部署成功
location /hello {default_type text/html;content_by_lua_block {ngx.say("HelloWorld") #通過調用lua來打印HelloWorld}}

上面已經實現了Openresty的部署,下面將結合WAF實現防火牆
什么是WAF
Web應用防護系統(也稱為:網站應用級入侵防御系統。英文:Web Application Firewall,簡稱: WAF)。利用國際上公認的一種說法:Web應用防火牆是通過執行一系列針對HTTP/HTTPS的安全策略來專門為Web應用提供保護的一款產品。
實現WAF
實現WAF的方式有兩種:
- 使用nginx+lua來實現WAF,須在編譯nginx的時候配置上lua
- 部署OpenResty,不需要在編譯nginx的時候指定lua
這里我們采用的是第二種
WAF一句話描述,就是解析HTTP請求(協議解析模塊),規則檢測(規則模塊),做不同的防御動作(動作模塊),並將防御過程(日志模塊)記錄下來。所以本文中的WAF的實現由五個模塊(配置模塊、協議解析模塊、規則模塊、動作模塊、錯誤處理模塊)組成。
WAF的功能
- 支持IP白名單和黑名單功能,直接將黑名單的IP訪問拒絕。
- 支持URL白名單,將不需要過濾的URL進行定義。
- 支持User-Agent的過濾,匹配自定義規則中的條目,然后進行處理(返回403)。
- 支持CC攻擊防護,單個URL指定時間的訪問次數,超過設定值,直接返回403。
- 支持Cookie過濾,匹配自定義規則中的條目,然后進行處理(返回403)。
- 支持URL過濾,匹配自定義規則中的條目,如果用戶請求的URL包含這些,返回403。
- 支持URL參數過濾,原理同上。
- 支持日志記錄,將所有拒絕的操作,記錄到日志中去。
- 日志記錄為JSON格式,便於日志分析,例如使用ELKStack進行攻擊日志收集、存儲、搜索和展示。
部署WAF
WAF已經有人通過lua寫出了這個開源的功能,在此直接拿來用即可。
GitHub地址:https://github.com/unixhot/waf
1.下載waf模塊
git clone https://github.com/unixhot/waf.gitcp -a ./waf/waf /usr/local/openresty/nginx/conf/
2.waf文件介紹
ls -lrth /usr/local/openresty/nginx/conf/waf/總用量 20K-rw-r--r-- 1 root root 408 7月 27 09:30 access.lua-rw-r--r-- 1 root root 2.3K 7月 27 09:30 lib.lua-rw-r--r-- 1 root root 5.4K 7月 27 09:30 init.lua-rw-r--r-- 1 root root 1.3K 7月 27 09:30 config.luadrwxr-xr-x 2 root root 158 7月 27 09:57 rule-config
以上access.lua、lib.lua、init.lua都是功能實現的lua代碼,如果不具備lua的開發能力,我們一般不會去進行改動config.lua為各個功能的配置文件rule-config目錄存放了各種防御策略規則
我們需要經常改動config.lua和存儲策略的文件
ls /usr/local/openresty/nginx/conf/waf/rule-config/ -rlth總用量 24K-rw-r--r-- 1 root root 652 7月 27 09:30 cookie.rule #Cookie策略文件-rw-r--r-- 1 root root 749 7月 27 09:30 args.rule #異常Get參數策略文件-rw-r--r-- 1 root root 6 7月 27 09:30 whiteurl.rule #白名單URL策略文件-rw-r--r-- 1 root root 0 7月 27 09:30 whiteip.rule #IP白名單策略文件-rw-r--r-- 1 root root 173 7月 27 09:30 useragent.rule #異常UserAgent策略文件-rw-r--r-- 1 root root 307 7月 27 09:30 url.rule #異常URL策略文件-rw-r--r-- 1 root root 739 7月 27 09:30 post.rule #異常POST參數策略文件-rw-r--r-- 1 root root 0 7月 27 09:57 blackip.rule #IP黑名單策略文件
Openresty引入WAF模塊
1.修改nginx配置來引入WAF模塊
如下在Nginx中加入以下配置來引入WAF模塊
vim /usr/local/openresty/nginx/conf/nginx.conf...http {lua_shared_dict limit 10m;lua_package_path "/usr/local/openresty/nginx/conf/waf/?.lua";init_by_lua_file "/usr/local/openresty/nginx/conf/waf/init.lua";access_by_lua_file "/usr/local/openresty/nginx/conf/waf/access.lua";...}
2.重啟Openrestyd
openresty -tnginx: the configuration file /usr/local/openresty/nginx/conf/nginx.conf syntax is oknginx: configuration file /usr/local/openresty/nginx/conf/nginx.conf test is successfulopenresty -s reload
3.查看nginx error.log
警告如下:failed to load the 'resty.core' module 加載 resty.core 核心模塊失敗,然后下面還有十幾行找不到文件的日志
cat /usr/local/openresty/nginx/logs/error.log2020/07/27 15:39:38 [notice] 12728#12728: signal process started2020/07/27 15:39:38 [alert] 27311#27311: failed to load the 'resty.core' module (https://github.com/openresty/lua-resty-core); ensure you are using an OpenResty release from https://openresty.org/en/download.html (reason: module 'resty.core' not found:no field package.preload['resty.core']no file '/usr/local/openresty/nginx/conf/waf/resty/core.lua'no file '/usr/local/openresty/site/lualib/resty/core.so'no file '/usr/local/openresty/lualib/resty/core.so'no file './resty/core.so'no file '/usr/local/lib/lua/5.1/resty/core.so'no file '/usr/local/openresty/luajit/lib/lua/5.1/resty/core.so'no file '/usr/local/lib/lua/5.1/loadall.so'no file '/usr/local/openresty/site/lualib/resty.so'no file '/usr/local/openresty/lualib/resty.so'no file './resty.so'no file '/usr/local/lib/lua/5.1/resty.so'no file '/usr/local/openresty/luajit/lib/lua/5.1/resty.so'no file '/usr/local/lib/lua/5.1/loadall.so') in /usr/local/openresty/nginx/conf/nginx.conf:130
4.解決辦法如下
上面告警是缺少 lua-resty-core 模塊,從而找不到這些信息,所以我們要下載lua-resty-core模塊然后引入到Openresty
git clone https://github.com/openresty/lua-resty-core.git
然后修改nginx配置文件來引入此模塊,如下格式添加到第二行的后面
lua_shared_dict limit 10m;lua_package_path "/usr/local/openresty/nginx/conf/waf/?.lua;/usr/local/openresty/lua-resty-core/lib/?.lua;;";init_by_lua_file "/usr/local/openresty/nginx/conf/waf/init.lua";access_by_lua_file "/usr/local/openresty/nginx/conf/waf/access.lua";
5.然后保存退出重啟看日志
openresty -t && openresty -s reload
確保日志無異常后則成功引入WAF模塊
WAF模塊配置文件詳解
來學習一下waf/config.lua配置文件中的內容
cat /usr/local/openresty/nginx/conf/waf/config.lua--lua文件中,--為行注釋,--[[這是塊注釋--]]config_waf_enable = "on" --是否啟用waf模塊,值為 on 或 offconfig_log_dir = "/tmp" --waf的日志位置,日志格式默認為jsonconfig_rule_dir = "/usr/local/openresty/nginx/conf/waf/rule-config" --策略規則目錄位置,可根據情況變動config_white_url_check = "on" --是否開啟URL檢測config_white_ip_check = "on" --是否開啟IP白名單檢測config_black_ip_check = "on" --是否開啟IP黑名單檢測config_url_check = "on" --是否開啟URL過濾config_url_args_check = "on" --是否開啟Get參數過濾config_user_agent_check = "on" --是否開啟UserAgent客戶端過濾config_cookie_check = "on" --是否開啟cookie過濾config_cc_check = "on" --是否開啟cc攻擊過濾config_cc_rate = "10/60" --cc攻擊的速率/時間,單位為秒;默認示例中為單個IP地址在60秒內訪問同一個頁面次數超過10次則認為是cc攻擊,則自動禁止此IP地址訪問此頁面60秒,60秒后解封(封禁過程中此IP地址依然可以訪問其它頁面,如果同一個頁面訪問次數超過10次依然會被禁止)config_post_check = "on" --是否開啟POST檢測config_waf_output = "html" --對於違反規則的請求則跳轉到一個自定義html頁面還是指定頁面,值為 html 和 redirectconfig_waf_redirect_url = "https://www.unixhot.com" --指定違反請求后跳轉的指定html頁面--指定違反規則后跳轉的自定義html頁面config_output_html=[[<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Content-Language" content="zh-cn" /><title>網站防火牆</title></head><body><h1 align="center"> 歡迎白帽子進行授權安全測試,安全漏洞請聯系QQ:1111111。</body></html>]]
IP黑名單配置
需要在config.lua中開啟config_black_ip_check = "on"參數
IP黑名單配置非常簡單,這個與Nginx的ngx_http_access_module模塊原理是一致的,只需要把拒絕的地址加入到 waf/rule-config/blackip.rule文件中即可
cat /usr/local/openresty/nginx/conf/waf/rule-config/blackip.rule192.168.31.14
然后訪問Openresty地址,如下已返回403被禁止

IP白名單配置
需要在config.lua中開啟config_white_ip_check = "on"參數
IP白名單與黑名單相反,添加到IP白名單中的IP不受WAF限制,具體請自行測試
cat /usr/local/openresty/nginx/conf/waf/rule-config/whiteip.rule192.168.31.14
CC攻擊過濾
需要在config.lua中開啟config_cc_check = "on"參數,然后指定config_cc_rate = "10/60"速率和時間
CC攻擊只需要在config.lua配置文件中指定上面的兩個參數即可
如下指定在60秒內對於單個IP地址訪問單個頁面的次數最大10次,超過10次則自動拉入黑名單,60秒后自動解除
vim /usr/local/openresty/nginx/conf/waf/config.luaconfig_cc_check = "on"config_cc_rate = "10/60"
然后進行測試,如下刷新10次以后就變為來403

我們換個頁面再次刷新,如下換個頁面可以正常訪問,不過連續對一個頁面60秒內刷新10次以后將也被拉入黑名單

注:以上的請求速率和時間只能作為參考,大家線上使用具體還要根據相應環境進行調整
異常URL策略配置
需要在config.lua中開啟config_url_check = "on"參數
然后定義rule-config/url.rule文件,url.rule文件默認為如下,如果匹配到規則的將跳轉到由config.lua中config_waf_output = "html"參數指定的頁面
- 禁止URL訪問
.htaccess|.bash_history的文件 - 禁止URL訪問包含帶有
phpmyadmin|jmx-console|admin-console|jmxinvokerservlet地址 - 禁止URL訪問包含
java.lang的地址 - 禁止URL訪問包含
.svn/的地址
cat url.rule\.(htaccess|bash_history)\.(bak|inc|old|mdb|sql|backup|java|class|tgz|gz|tar|zip)$(phpmyadmin|jmx-console|admin-console|jmxinvokerservlet)java\.lang\.svn\//(attachments|upimg|images|css|uploadfiles|html|uploads|templets|static|template|data|inc|forumdata|upload|includes|cache|avatar)/(\\w+).(php|jsp)
假如你不想讓別人訪問根下的/login,那么就可以寫入到配置中
cat url.rule\.(htaccess|bash_history)\.(bak|inc|old|mdb|sql|backup|java|class|tgz|gz|tar|zip)$(phpmyadmin|jmx-console|admin-console|jmxinvokerservlet)java\.lang\.svn\//(attachments|upimg|images|css|uploadfiles|html|uploads|templets|static|template|data|inc|forumdata|upload|includes|cache|avatar)/(\\w+).(php|jsp)/login
然后進行重啟后訪問,如下就跳轉到了我們在config.lua中指定的頁面,此頁面可根據需求進行修改。如果上面默認的url規則匹配到了你的地址,那么你就可以把相應配置去掉

異常UserAgent策略配置
需要在config.lua中開啟config_user_agent_check = "on"參數
WAF模塊中默認封鎖了以下UserAgent,如
HTTrack網站下載
namp網絡掃描
audit網絡審計
dirbuster網站目錄掃描
pangolin SQL注入工具
scan網絡掃描
hydra密碼暴力破解
libwww漏洞工具
sqlmap自動SQL注入工具
w3af網絡掃描
Nikto Web漏洞掃描
…
等等
cat useragent.rule(HTTrack|harvest|audit|dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|PycURL|zmeu|BabyKrokodil|netsparker|httperf|bench)
我們正常訪問URL是沒問題的,下面來模擬一個非法的UserAgent進行訪問
#模擬網站下載curl http://192.168.31.219/ --user-agent 'HTTrack'<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Content-Language" content="zh-cn" /><title>網站防火牆</title></head><body><h1 align="center"> 歡迎白帽子進行授權安全測試,安全漏洞請聯系QQ:1111111。</body></html>#模擬nmap網絡掃描curl http://192.168.31.219/ --user-agent 'nmap'<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Content-Language" content="zh-cn" /><title>網站防火牆</title></head><body><h1 align="center"> 歡迎白帽子進行授權安全測試,安全漏洞請聯系QQ:1111111。</body></html>
添加禁止Chrome瀏覽器訪問的UserAgent
#跟隨配置添加到最后cat useragent.rule(HTTrack|harvest|audit|dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|PycURL|zmeu|BabyKrokodil|netsparker|httperf|bench|Chrome)
然后重啟Openrestry,通過Chrome瀏覽器進行訪問

如上所示全部命中了WAF的規則
異常Get參數策略配置
需要在config.lua配置中開啟config_url_args_check = "on"參數
默認封鎖了如下:
cat args.rule\.\./\:\$\$\{select.+(from|limit)(?:(union(.*?)select))having|rongjitestsleep\((\s*)(\d*)(\s*)\)benchmark\((.*)\,(.*)\)base64_decode\((?:from\W+information_schema\W)(?:(?:current_)user|database|schema|connection_id)\s*\((?:etc\/\W*passwd)into(\s+)+(?:dump|out)file\s*group\s+by.+\(xwork.MethodAccessor(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(xwork\.MethodAccessor(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/java\.lang\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[\<(iframe|script|body|img|layer|div|meta|style|base|object|input)(onmouseover|onerror|onload)\=
我們進行訪問 http://192.168.31.219/hello?aa=select id from mysql,得到如下,進行匹配
curl 'http://192.168.31.219/hello?aa=select id from mysql'<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Content-Language" content="zh-cn" /><title>網站防火牆</title></head><body><h1 align="center"> 歡迎白帽子進行授權安全測試,安全漏洞請聯系QQ:1111111。</body></html>
我們也可以根據自己需求去配置,如下最后添加abcops
cat args.rule\.\./\:\$\$\{select.+(from|limit)(?:(union(.*?)select))having|rongjitestsleep\((\s*)(\d*)(\s*)\)benchmark\((.*)\,(.*)\)base64_decode\((?:from\W+information_schema\W)(?:(?:current_)user|database|schema|connection_id)\s*\((?:etc\/\W*passwd)into(\s+)+(?:dump|out)file\s*group\s+by.+\(xwork.MethodAccessor(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(xwork\.MethodAccessor(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/java\.lang\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[\<(iframe|script|body|img|layer|div|meta|style|base|object|input)(onmouseover|onerror|onload)\=abcops
然后我們進行訪問http://192.168.31.219/hello?aa=abcops也會匹配到規則

異常POST參數策略配置
需要在config.lua中開啟config_post_check = "on"選項
默認POST請求封禁如下,POST封禁內容與GET相似
cat post.rule\.\./select.+(from|limit)(?:(union(.*?)select))having|rongjitestsleep\((\s*)(\d*)(\s*)\)benchmark\((.*)\,(.*)\)base64_decode\((?:from\W+information_schema\W)(?:(?:current_)user|database|schema|connection_id)\s*\((?:etc\/\W*passwd)into(\s+)+(?:dump|out)file\s*group\s+by.+\(xwork.MethodAccessor(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(xwork\.MethodAccessor(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/java\.lang\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[\<(iframe|script|body|img|layer|div|meta|style|base|object|input)(onmouseover|onerror|onload)\=
直接對POST策略進行提交請求,通過curl -XPOST來進行提交POST請求
curl -XPOST 'http://192.168.31.219/hello?aa=select id from mysql'<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Content-Language" content="zh-cn" /><title>網站防火牆</title></head><body><h1 align="center"> 歡迎白帽子進行授權安全測試,安全漏洞請聯系QQ:1111111。</body></html>
如上命中規則,我們查看Openrestry日志,查看是否為POST請求
tail -1 /usr/local/openresty/nginx/logs/access.log192.168.31.217 - - [27/Jul/2020:18:21:32 +0800] "POST /hello?aa=select id from mysql HTTP/1.1" 403 313 "-" "curl/7.29.0"
原文地址:https://abcops.cn/1732.html
原文作者:好好青年
