業務場景
黑名單
資訊類信息類網站追求高訪問量,但是由於其信息的價值,往往容易被不法分子利用,通過爬蟲技術,快速獲取信息,個別特種行業網站信息通過爬蟲獲取分析后,可以轉換成商業機密進行出售。例如第三方火車票、機票、酒店刷票代購軟件,電商刷評論、刷好評。
同時爬蟲帶來的偽流量也會給經營者帶來錯覺,產生錯誤的決策,有效避免網站被爬蟲反復怕取成為每個網站都要考慮的基本問題。在基於技術層面分出爬蟲用戶后,需要將此類用戶進行有效的屏蔽,這就是黑名單的典型應用。
ps: 不是說爬蟲一定做摧毀性的工作,有些小型網站需要爬蟲為其帶來一定流量。
白名單
對於安全性更高的應用訪問,僅僅靠黑名單是不能解決安全問題的,此時需要設定可訪問的用戶群體,依賴白名單做更為苛刻的訪問驗證.
解決方案
- 基於經營戰略設定問題用戶發現、鑒別規則
- 周期性更新滿足規則的用戶黑名單,加入set集合
- 用戶行為信息達到后與黑名單進行比對,確認行為去向
- 黑名單過濾IP地址:應用於開放游客訪問權限的信息源
- 黑名單過濾設備信息:應用於限定訪問設備的信息源
- 黑名單過濾用戶: 應用於基於訪問權限的信息源
Trips 12:
- redis應用於基於黑名單於白名單設定的服務控制
