國內在技術選型中考慮最多的三種。
從延遲看:Storm和Flink原生支持流計算,對每條記錄處理,毫秒級延遲,是真正的實時計算,對延遲要求較高的應用建議選擇這兩種。Spark Streaming的延遲是秒級。
從容錯看 :Spark Streaming和Flink都支持最高的exactly-once容錯級別,Storm會有記錄重復計算的可能
從吞吐量看 :Spark Streaming是小批處理,故吞吐量會相對更大。
從成熟度看: Storm最成熟,Spark其次,Flink處於仍處於發展中,這三個項目都有公司生產使用,但畢竟開源項目,項目越不成熟,往往越要求公司大數據平台研發水平。
從整合性看:Storm與SQL、機器學習和圖計算的結合復雜性最高;而Spark和Flink都有生態圈內對應的SQL、機器學習和圖計算,與這些項目結合更容易。
公司可以根據需求進行技術選型。