eBay公司隆重宣布正式向開源業界推出分布式實時安全監控引方案 - Apache Eagle ,該項目已正式加入Apache 稱為孵化器項目。Apache Eagle提供一套高效分布式的流式策略引擎,具有高實時、可伸縮、易擴展、交互友好等特點,同時集成機器學習對用戶行為建立Profile以實現實時智能實時地保護Hadoop生態系統中大數據的安全。
Eagle 是開源分布式實時Hadoop數據安全方案,支持數據行為實時監控,能立即監測出對敏感數據的訪問或惡意的操作,並立即采取應對的措施。
我們相信Eagle將成為Hadoop數據安全領域的核心組件之一,因此我們決定將它的功能分享給整個社區。目前我們已經將Eagle捐贈給Apache軟件基金會作為Apache 孵化器項目開源,期望能夠同開源社區一同協作開發,使得Eagle不斷發展壯大,共同滿足開源社區中更廣泛的需求。
Eagle的數據行為監控方案可用於如下幾類典型場景:
-
監控Hadoop中的數據訪問流量
-
檢測非法入侵和違反安全規則的行為
-
檢測並防止敏感數據丟失和訪問
-
實現基於策略的實時檢測和預警
-
實現基於用戶行為模式的異常數據行為檢測
Eagle具有如下特點:
-
高實時: 我們充分理解安全監控中高度實時和快速反應的重要性,因此設計Eagle之初,我們竭盡可能地確保能在亞秒級別時間內產生告警,一旦綜合多種因素確訂為危險操作,立即采取措施阻止非法行為。
-
可伸縮:在eBay Eagle 被部署在多個大型Hadoop集群上,這些集群擁有數百PB的數據,每天有8億以上的數據訪問時間,因此Eagle必須具有處理海量實時數據的高度可伸縮能力。
-
簡單易用:可用性也是Eagle產品的核心設計原則之一。通過Eagle的Sandbox,使用者僅需數分鍾便可以設置好環境並開始嘗試。為了使得用戶體驗盡可能簡單,我們內置了許多很好的例子,只需簡單地點擊幾步鼠標,便可以輕松地完成策略地創建和添加。
-
用戶Profile:Eagle 內置提供基於機器學習算法對Hadoop中用戶行為習慣建立用戶Profile的功能。我們提供多種默認的機器學習算法供你選擇用於針對不同HDFS特征集進行建模,通過歷史行為模型,Eagle可以實時地檢測異常用戶行為並產生預警。
-
開源:Eagle一直根據開源的標准開發,並構建於諸多大數據領域的開源產品之上,因此我們決定以Apache許可證開源Eagle,以回饋社區,同時也期待獲得社區的反饋、協作與支持。
參考資料:
官網:http://eagle.apache.org/
http://www.oschina.net/news/67515/apache-eagle
http://www.dataguru.cn/article-7686-1.html
安裝配置:http://blog.csdn.net/ganglia/article/details/49760183
http://bi.dataguru.cn/thread-562176-1-1.html
http://www.oschina.net/p/apache-eagle
http://www.csdn.net/article/2015-10-29/2826076?ref=myread
深入介紹:http://www.csdn.net/article/2015-10-29/2826076?ref=myread