實時計算框架選型


國內在技術選型中考慮最多的三種。

從延遲看Storm和Flink原生支持流計算,對每條記錄處理,毫秒級延遲,是真正的實時計算,對延遲要求較高的應用建議選擇這兩種。Spark Streaming的延遲是秒級

從容錯看 :Spark Streaming和Flink都支持最高的exactly-once容錯級別,Storm會有記錄重復計算的可能

從吞吐量看 :Spark Streaming是小批處理,故吞吐量會相對更大。

從成熟度看: Storm最成熟,Spark其次,Flink處於仍處於發展中,這三個項目都有公司生產使用,但畢竟開源項目,項目越不成熟,往往越要求公司大數據平台研發水平。

從整合性看:Storm與SQL、機器學習和圖計算的結合復雜性最高;而Spark和Flink都有生態圈內對應的SQL、機器學習和圖計算,與這些項目結合更容易。

公司可以根據需求進行技術選型。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM