今天被朋友圈刷屏了,StarRocks開源——攜手未來,星辰大海!
可能大家對StarRocks不太熟悉,但是DorisDB想必都是聽說過的。
在過去相當長的一段時間,對於ClickHouse 與 DorisDB的性能之爭一直經久不息。
對於實時OLAP引擎的選擇,Doris也越來越多並企業所應用。
DorisDB是一款純國產的高性能的, 分布式關系型列式數據庫。
DorisDB脫胎於百度廣告業務的實時分析場景, 於2018貢獻給Apache開源社區, 之后在美團, 小米, 字節跳動, 京東等互聯網企業被適用於核心業務實時數據分析。
DorisDB致力於滿足企業用戶的多種數據分析場景. 支持多種數據模型(明細表, 聚合表), 多種導入方式(批量, 可整合和接入多種現有系統(Spark, Flink, Hive, ElasticSearch)。
DorisDB特性
DorisDB的架構設計融合了MPP數據庫,以及分布式系統的設計思想,具有以下特性:
架構簡單
DorisDB集群的正常運行不需要依賴任何其他系統, 易部署, 易維護. 極簡的架構設計, 降低了DorisDB系統的復雜度和維護成本, 同時也提升了系統的可靠性和擴展性。管理員只需要專注於DorisDB系統,無需學習和管理任何其他外部系統。
分布式架構
DorisDB采用分布式架構,存儲容量和計算能力可近似線性水平擴展。DorisDB集群的規模可擴展到數百節點,支持的數據規模可達到10PB級別。元數據和數據管理采用熱備保證高可用, 能夠自愈, 服務和數據安全可靠。
自治系統,管理簡單
DorisDB是一個自治的系統。節點的上下線,集群擴縮容都可通過一條簡單的SQL命令來完成; 在此操作期間, DorisDB后台自動完成數據rebalance; 用戶的查詢和數據導入操作可同時正常運行。
另外DorisDB表模式熱變更,可通過一條簡單SQL命令動態地修改表的定義, 例如增加列、減少列、新建物化視圖等。同時,處於模式變更中的表也可也正常導入和查詢數據。
標准SQL
DorisDB支持標准的SQL語法,包括聚合,JOIN,排序,窗口函數,自定義函數等功能,用戶可以通過標准的SQL對數據進行靈活的分析運算。 此外,DorisDB還兼容MySQL協議語法,可使用現有的各種客戶端工具、BI軟件訪問DorisDB, 對DorisDB中的數據進行拖拽式分析。
MPP(Massively Parallel Processing)執行框架
DorisDB內部通過MPP計算框架完成SQL的具體執行工作。MPP框架本身能夠充分的利用多節點、多CPU, 多核的算力,充分地將整個查詢並行執行, 從而實現很好的交互式分析體驗. DorisDB能夠支持亞秒級查詢,並且查詢QPS可達10000以上。
流批導入
DorisDB支持實時和批量兩種數據導入方式, 支持的數據源有Kafka, HDFS, 本地文件. 支持的數據格式有ORC, Parquet和CSV等. DorisDB可以實時消費Kafka數據來完成數據導入,保證數據不丟不重(exactly once)。DorisDB也可以從本地或者遠程(HDFS)批量導入數據。
高可用
DorisDB的元數據和數據都是多副本存儲,並且集群中服務有熱備, 多實例部署,避免了單點故障。集群具有自愈能力, 可彈性恢復. 節點的宕機、下線、異常都不會影響DorisDB集群服務的整體穩定性。
DorisDB可以滿足企業級用戶的多種分析需求,包括OLAP多維分析,定制報表,實時數據分析,Ad-hoc數據分析等。
在企業對於大數據分析面臨的越來越多的問題情況下。
DorisDB升級為StarRocks,並全面開源(Github搜索“StarRocks”)
Github:https://github.com/StarRocks/starrocks
另外,官方下載地址與文檔,請關注下面的地址。
1.18.2社區版下載地址:
Https://www.dorisdb.com/zh-cn/download/request-download/1
發行說明:
Https://forum.dorisdb.com/t/topic/391
文檔地址:
Http://docs.dorisdb.com/
POC測試指南:
Https://www.bilibili.com/video/BV1SX4y1c7i4?share_source=copy_web
測試FAQ:https://docs.dorisdb.com/zh-cn/main/quick_start/Test_faq
也希望大家為國產開源軟件貢獻一份自己的力量。
獲取更多StarRocks資料,歡迎關注 大數據流動 回復 “StarRocks”