Spark的發展歷史


原文地址:https://cloud.tencent.com/developer/article/1442771

Spark是一種通用的大數據計算框架,使用了內存內運算技術。今天加米谷大數據就來簡單介紹一下Spark的簡史。

Spark的簡史

1、2009年,Spark誕生於伯克利大學AMPLab,屬於伯克利大學的研究性項目;

2、2010 年,通過BSD 許可協議正式對外開源發布;

3、2012年,Spark第一篇論文發布,第一個正式版(Spark 0.6.0)發布;

4、2013年,成為了Aparch基金項目;發布Spark Streaming、Spark Mllib(機器學習)、Shark(Spark on Hadoop);

5、2014 年,Spark 成為 Apache 的頂級項目; 5 月底 Spark1.0.0 發布;發布 Spark Graphx(圖計算)、Spark SQL代替Shark;

6、2015年,推出DataFrame(大數據分析);2015年至今,Spark在國內IT行業變得愈發火爆,大量的公司開始重點部署或者使用Spark來替代MapReduce、Hive、Storm等傳統的大數據計算框架;

7、2016年,推出dataset(更強的數據分析手段);

8、2017年,structured streaming 發布;

9、2018年,Spark2.4.0發布,成為全球最大的開源項目。

基本組件

Spark Core;Spark 核心 API,提供 DAG 分布式內存計算框架

Spark SQL:提供交互式查詢 API

Spark Streaming:實時流處理

SparkML:機器學習 API

Spark Graphx:圖形計算


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM