盤點Apache畢業的11個頂級項目


 

自1999年成立至今,Apache 軟件基金會已成功建立起自己強大的生態圈。其社區涌現了非常多優秀的開源項目,同時有越來越多國內外項目走向這個國際開源社區進行孵化。據悉,目前所有的 Apache 項目都需要經過孵化器孵化,滿足一系列質量要求之后才可畢業。從孵化器里畢業的項目,要么獨立成為頂級項目,要么成為其他頂級項目的子項目。

為便於大家了解 Apache 孵化的標准,本文盤點了 Apache 從2016年1月1日至2017年1月19日所有孵化成功並獨立管理的頂級項目,共有11個。同時,歡迎大家在評論區留言互動,聊聊對 Apache 的看法,分享曾經使用過的感受..

 

1、Apache Beam

Apache Beam 是 Google 在2016年2月1日貢獻給 Apache 基金會的孵化項目,於2017年1月10日正式宣布畢業,升級為 Apache 頂級項目。

Apache Beam 的主要目標是統一批處理和流處理的編程范式,為無限,亂序,web-scale的數據集處理提供簡單靈活,功能豐富以及表達能力十分強大的SDK。項目重點在於數據處理的編程范式和接口定義,並不涉及具體執行引擎的實現。Apache Beam 希望基於 Beam 開發的數據處理程序可以執行在任意的分布式計算引擎上。

 

2、Apache Eagle

Apache Eagle 起源於 eBay,最早用於解決大規模 Hadoop 集群的監控問題,2015年10月26日提交給 Apache 進行孵化,於2017年1月10日正式宣布畢業成為 Apache 頂級項目。

Apache Eagle 是一個開源監視和警報解決方案,用於智能實時地識別大數據平台上的安全和性能問題,例如 Apache Hadoop、Apache Spark 等。Apache Eagle 主要包括:高可擴展、高可伸縮、低延時、動態協同等特點,支持數據行為實時監控,能立即監測出對敏感數據的訪問或惡意的操作,並立即采取應對的措施。

 

3、Apache Geode

Apache Geode 最初是由 Gemstone Systems 公司作為商業產品開發,初期被廣泛應用在金融領域,作為事務性、 低延時的數據引擎用於華爾街交易平台。2015年4月27日將代碼提交給 Apache 孵化器,於2016年11月21日畢業成為 Apache 頂級項目。

Apache Geode 是一個數據管理平台,提供實時的、一致的、貫穿整個雲架構地訪問數據關鍵型應用。它使用了動態數據復制和分區技術來實現高可用、高性能、高可擴展性、和容錯。另外,對於一個分布式數據容器,Apache Geode 是一個基於內存的數據管理系統,提供了可靠的異步事件通知和可靠的消息投遞。

 

 

 

 

4、Apache Twill

Apache Twill 於2013年11月14日將代碼提交給 Apache 孵化器,2016年7月27日宣布畢業成為 Apache 頂級項目。

Apache Twill 為常見的分布式應用程序提供了豐富的內置功能,用於開發、部署和管理,大大簡化了 Hadoop 集群操作和管理。目前已經成為 Cask 數據應用平台(CDAP)背后的關鍵組件,使用 YARN 容器和 Java 線程作為抽象化處理。CDAP 是一個開源集成和應用平台,使開發人員和組織能夠輕松構建,在  Hadoop 和 Spark 上部署和管理數據應用。

 

5、Apache Kudu

Apache Kudu 是 Cloudera 主導開發的數據存儲系統,2015年12月3日成為 Apache 孵化項目,2016年7月25日正式宣布畢業,升級為 Apache 頂級項目。

Apache Kudu 是為 Hadoop 生態系統構建的開源列式存儲引擎,旨在實現靈活的高性能分析管道。它支持在傳統數據庫中提供許多操作,包括實時插入、更新和刪除等。目前在許多行業的不同公司和組織中使用,包括零售、在線服務交付、風險管理和數字廣告等等行業,還有大家較為熟悉的有小米公司。

 

6、Apache Bahir

Apache Bahir 的代碼最初是從 Apache Spark 項目中提取的,后作為一個獨立的項目提供,並於2016年6月29日宣布成為 Apache 頂級項目。

Apache Bahir 通過提供多樣化的流連接器(streaming connectors)和 SQL 數據源擴展分析平台的覆蓋面,最初只是為 Apache Spark 提供拓展,目前也為 Apache Flink 提供,后續還可能為 Apache Beam 和更多平台提供拓展服務。

 

7、Apache Zeppelin

Apache Zeppelin 是一個支持交互式數據分析的基於 Web 的 notebook,提供了數據可視化的框架。2013年在 NFLabs 作為商業數據分析產品 Peloton 面世,2014年12月23日進入 Apache 孵化器,2016年5月25日畢業為 Apache 頂級項目。

Apache Zeppelin 幫助開發人員高效處理數據,而不必擔心命令行和群集詳細信息。支持20多個后端系統,易於部署和使用,允許用戶混合不同的語言,在后端之間交換數據,調整布局,也允許自定義可視化和集群資源之間的交互。你可以使用 SQL、Scala 等創建漂亮的數據驅動、交互式和協作文檔。

 

8、Apache TinkerPop

Apache TinkerPop 2009年始於洛斯阿拉莫斯國家實驗室,在發布過2個版本后,於2015年1月16日提交給 Apache 孵化器,並於2016年5月23日畢業為 Apache 頂級項目。

Apache TinkerPop 是一個圖形計算框架,為開發人員提供在任何應用程序領域構建任何規模的現代圖形應用程序所需的工具。它統一了這些高度變化的圖形系統模型,加快開發時間,既可用於聯機事務處理(OLTP),又可用於聯機分析處理系統(OLAP);既可處理單一機器的數據,也可處理分布式環境的龐大數據。

 

9、Apache Apex

Apache Apex 最初於2012年在 DataTorrent Inc. 創建,2015年8月17日進入 Apache 孵化器,2016年4月25日正式宣布畢業為 Apache 頂級項目。

Apache Apex 是一個企業級的統一流和批處理引擎。提供高度可伸縮、高性能、容錯、有狀態、安全和分布式的大數據處理,同時操作起來非常簡單容易。其目的在於充分利用 Hadoop 的兩大組件 YARN 和 Hadoop 分布式文件系統(HDFS)提供的基礎設施,通過企業級平台對 Apache Hadoop 進行流式分析。

 

10、Apache Sentry

Apache Sentry 為 Hadoop 集群元數據和數據存儲提供集中、細粒度的訪問控制,2013年8月成為 Apache 孵化項目,2016年3月25日畢業為 Apache 頂級項目。

Apache Sentry 是一個加強的細粒度的基於角色的授權系統,對不同的 Hadoop 組件提供了六類對權限訪問策略管理。包括:支持多權限模型,也支持同一個權限控制策略對多哥計算框架和數據目錄的訪問;支持Apache Solr(搜索項目);支持 SQL 表權限和 HDFS 文件權限同步;支持數據管理的審計日志;支持高可用性(HA);支持不同集群間權限策略的導入和導出等等。

 

11、Apache Arrow

Apache Arrow 最初是基於 Apache Drill 項目的代碼進行開發的,它是在許多開源協作的基礎上構建的,為列式內存存儲的處理和交互提供了規范,於2016年2月17日畢業成為 Apache 頂級項目。

Apache Arrow 通過提供高性能的列式內存表示來加速分析處理。許多處理算法從該存儲器設計中獲益良多。除了傳統的關系數據,Arrow 還支持具有動態模式的復雜數據。例如,可以處理通常用於 IoT 工作負載、現代應用和日志文件中的 JSON 數據,也可以允許在大量大數據解決方案之間實現更強的互操作性。


  

 
轉載 http://www.lupaworld.com/article-262239-1.html

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM