描述：反爬蟲是一個復雜的過程，針對爬蟲常見的行為特征，WAF反爬蟲三板斧——Robot檢測（識別User-Agent）、網站反爬蟲（檢查瀏覽器合法性）和CC攻擊防護（限制訪問頻率）可以全方位幫您解決業務網站遭受的爬蟲問題，協助您打贏與爬蟲的持久戰！華為雲Web應用防火牆（Web Application Firewall，WAF）通過對HTTP(S)請求進行檢測，可以識別並阻斷惡意爬蟲掃描，讓您的Web服務免受爬蟲攻擊，保護您的Web服務安全。
網絡爬蟲（Web Crawler），又稱網絡蜘蛛（Web Spider）或網絡機器人（Web Robot），是一種按照一定的規則，自動獲取網頁內容並可以按照指定規則提取相應內容的程序或腳本，已被廣泛應用於互聯網搜索領域。
網絡爬蟲為網絡信息收集與查詢提供了極大的便利，但同時也對網絡安全產生以下負面影響：
-
網絡爬蟲會根據特定策略盡可能多的“爬過”網站中的高價值信息，占用服務器帶寬，增加服務器的負載。
-
惡意用戶利用網絡爬蟲對Web服務發動DoS攻擊，可能使Web服務資源耗盡而不能提供正常服務。
-
惡意用戶利用網絡爬蟲抓取各種敏感信息，造成網站的核心數據被竊取，損害企業經濟利益。
如果您的網站正在遭受爬蟲侵擾，千萬不要忍耐，是時候和爬蟲來一場大戰了！
華為雲Web應用防火牆（Web Application Firewall，WAF）通過對HTTP(S)請求進行檢測，可以識別並阻斷惡意爬蟲掃描，讓您的Web服務免受爬蟲攻擊，保護您的Web服務安全。只要您有域名，不管您的業務部署在雲上還是雲下，WAF都可以為您的業務保駕護航。
反爬蟲是一個復雜的過程，針對爬蟲常見的行為特征，WAF反爬蟲三板斧——Robot檢測（識別User-Agent）、網站反爬蟲（檢查瀏覽器合法性）和CC攻擊防護（限制訪問頻率）可以全方位幫您解決業務網站遭受的爬蟲問題，協助您打贏與爬蟲的持久戰！
還等什么，還不趕快把WAF反爬蟲三板斧耍起！
WAF反爬蟲三板斧神器來了
一板斧：開啟Robot檢測
檢測和攔截惡意爬蟲、掃描器、網馬等威脅。
步驟1 ：進入“域名配置”界面，在目標域名所在行的“防護策略”欄中，單擊“配置防護策略”，進入防護配置頁面。
步驟2 ：在“Web基礎防護”配置框，開啟Web基礎防護后，單擊“高級設置”。
步驟3 ：在Web基礎防護設置頁面，開啟Robot檢測開關。
當WAF檢測到惡意爬蟲、掃描器等對網站進行爬取時，將立即攔截並記錄該事件，您可以在“防護事件”頁面查看爬蟲防護日志。
----結束
二板斧：開啟網站反爬蟲
動態分析網站業務模型，結合人機識別技術和數據風控手段，精准識別爬蟲行為。
該功能依賴瀏覽器對javascript代碼的解析，因此如果業務接口存在API調用的情況，建議不要開啟該防護功能。由於CDN服務會緩存圖片、靜態資源等文件，如果您的業務接入了CDN服務，該特性將無法達到預期效果，並且有可能造成頁面訪問異常，建議不要開啟該防護功能。
步驟1 ： 進入“域名配置”界面，在目標域名所在行的“防護策略”欄中，單擊“配置防護策略”，進入防護配置頁面。
步驟2 ：在“網站反爬蟲”配置框，開啟防護。
開啟該防護后，非瀏覽器的訪問將不能獲取業務頁面。
----結束
三板斧：開啟CC攻擊防護
限制單個IP/Cookie/Referer訪問者對您的網站上特定路徑（URL）的訪問頻率，緩解CC攻擊對業務的影響。
步驟1 ：進入“域名配置”界面，在目標域名所在行的“防護策略”欄中，單擊“配置防護策略”，進入防護配置頁面。
步驟2 ： 在“CC攻擊防護”配置框，開啟防護后，單擊“自定義CC攻擊防護規則”。
步驟3 ：在“CC防護”規則配置頁面左上角，單擊“添加規則”。以IP限速為例，添加IP限速規則。
設置成功后，當用戶訪問超過限制后需要輸入驗證碼才能繼續訪問。
----結束
更多關於WAF的功能，戳這里
安全無小事，時刻需警惕。2020，華為雲普惠雲安全，為您的網站、主機、數據提供免費雲體檢，還有一站式過等保貼心指導，趕緊戳這里，了解詳情吧！