原文地址:https://cloud.tencent.com/developer/article/1442771

Spark是一種通用的大數據計算框架,使用了內存內運算技術。今天加米谷大數據就來簡單介紹一下Spark的簡史。
Spark的簡史
1、2009年,Spark誕生於伯克利大學AMPLab,屬於伯克利大學的研究性項目;
2、2010 年,通過BSD 許可協議正式對外開源發布;
3、2012年,Spark第一篇論文發布,第一個正式版(Spark 0.6.0)發布;
4、2013年,成為了Aparch基金項目;發布Spark Streaming、Spark Mllib(機器學習)、Shark(Spark on Hadoop);
5、2014 年,Spark 成為 Apache 的頂級項目; 5 月底 Spark1.0.0 發布;發布 Spark Graphx(圖計算)、Spark SQL代替Shark;

6、2015年,推出DataFrame(大數據分析);2015年至今,Spark在國內IT行業變得愈發火爆,大量的公司開始重點部署或者使用Spark來替代MapReduce、Hive、Storm等傳統的大數據計算框架;
7、2016年,推出dataset(更強的數據分析手段);
8、2017年,structured streaming 發布;
9、2018年,Spark2.4.0發布,成為全球最大的開源項目。
基本組件
Spark Core;Spark 核心 API,提供 DAG 分布式內存計算框架
Spark SQL:提供交互式查詢 API
Spark Streaming:實時流處理
SparkML:機器學習 API
Spark Graphx:圖形計算