nginx 訪問控制之 user_agent

user_agent大家並不陌生，可以簡單理解成瀏覽器標識，包括一些蜘蛛爬蟲都可以通過user_agent來辨識。

通過訪問日志，可以發現一些搜索引擎的蜘蛛對網站訪問特別頻繁，它們並不友好。 為了減少服務器的壓力，其實可以把除主流搜索引擎蜘蛛外的其他蜘蛛爬蟲全部封掉。

另外，一些cc攻擊，我們也可以通過觀察它們的user_agent找到規律。

示例：

if ($user_agent ~ 'YisouSpider|MJ12bot/v1.4.2|YoudaoBot|Tomato')
{
    return 403;
}
說明：user_agent包含以上關鍵詞的請求，全部返回403狀態碼。

測試：
1. curl -A "123YisouSpider1.0"
2. curl -A "MJ12bot/v1.4.1"