分享嘉賓:胡津銘 DolphinDB研發副總監
整理:墨天輪社區
導讀
DolphinDB是高性能分布式時序數據庫,集成了功能強大的編程語言和高容量高速度的流數據分析系統,為海量結構化數據的快速存儲、檢索、分析及計算提供一站式解決方案。
時序數據庫的主要應用場景
我今天分享的主題是“時序數據庫:從量化金融到萬物互聯”,因為在我看來這是時序數據庫最主要的兩個應用場景:量化金融與物聯網。
圖1 時序數據庫的主要應用場景
1、在量化金融中的應用
在這里舉一個典型的金融數據示例,如下圖所示stock ID即股票ID,bid price是現在股票的買入價格,Ask price是股票的即時賣價,然后time是這條數據產生的時間。
圖2 金融數據示例
第一個場景是實時查詢,能夠查詢所有的股票在這一時間段內的數據,其中關鍵點在於能查看到某一特定的股票,與特定的時間范圍內的數據,即對單個時間序列做到實時查詢。
第二個場景是數據分析,如圖上所示,可以計算股票代碼為Apple的這只股票在2月23號這一天的這個moving average的數據,即對單個時間序列做數據分析。
那第三個場景是策略回測,比如在評估量化金融已開發出來的策略,應用在歷史數據上能夠獲得多少利潤后,決定是否上線策略。最后便是實時計算的場景,根據市場上的信息,對比現在的股票與其相關聯的股票價格分別是多少,基於這些信息,決定是否要買賣。
2、在物聯網中的應用
下圖為物聯網的數據示例,deviceID為設備ID,傳感器同時測溫度、壓強壓力兩個指標,並有對應的時間戳。
圖3 物聯網數據示例
在物聯網中的時序數據庫的第一個應用場景是設備監控,它能夠查詢一個設備在某一個時間段(點)上的數據情況。第二個應用場景是歷史統計,能夠查詢某一個(類)設備在過去一年內的平均值、最大最小值。
第三個應用場景是反向控制,根據物聯網產生的數據及時給出決策,並反過來控制傳感器實行什么樣的操作,或者控制其他的設備去實行什么樣的操作。
- 簡單的控制邏輯:若某設備監控到的溫度持續高於閾值,則自動采取對應的措施
- 復雜的控制邏輯:若根據某些復雜的算法(如機器學習)計算得出某片區域的現狀不合常理,則自動采取對應的措施
DolphinDB的產品特性
1、DolphinDB支持事務
不支持事務的數據庫會出現什么樣的后果?
圖4 不支持事務的時序數據庫示例
如圖所示,以股票交易為例,Google與Apple的股票數據已經成功存儲在了Node1中,但是由於網絡延遲,Oracle的實時股票數據無法存儲在Node2 中。當數據庫不支持事務時,便會無法查詢到google的最新股票價格,對應地便會基於不准確的數據做出錯誤決策,導致嚴重的后果。
因此,在時序數據庫中必須要有事務的支持以滿足量化金融與物聯網行業的應用需求。
2、強大的分析能力
時序數據庫在存下數據之后,最終的目的是挖掘出數據中的價值,這就需要數據庫提供強大的分析能力。
DolphinDB提供了一門編程語言,可以方便地進行自定義計算;還提供了1000多個內置的分析函數供使用。
3、高效的存儲引擎
DolphinDB的高效存儲引擎體現在
- 基於LSMT,提供高效的點查詢能力
- 千萬級設備,10ms以內
- 高效的歷史數據分析能力
- PB級數據,秒級計算響應
- 自動去重
圖5 DolphinDB 高效的存儲引擎
4、流數據處理架構
DolphinDB內置的流數據框架支持流數據的發布、訂閱、預處理、實時內存計算、復雜指標的滾動窗口計算等,是一個運行高效,使用便捷的流數據處理框架。
其中流數據模塊采用發布-訂閱-消費的模式。流數據首先注入流數據表中,通過流數據表來發布數據,數據節點或者第三方的應用可以通過DolphinDB腳本或API來訂閱及消費流數據。
圖6 DolphinDB 流數據處理架構
5、批流一體
批流一體是指用一摸一樣的代碼實現批計算和流計算的邏輯,即可以實現批計算的歷史分析,也能夠進行實時計算,幫助降低運維成本。
圖7 DolphinDB 實現批流一體
6、內置流計算引擎
DolphinDB內置流計算引擎包含時間序列聚合引擎、響應式狀態引擎、橫截面引擎、會話窗口引擎、異常檢測引擎,幫助降低開發成本。
圖8 DolphinDB 內置流計算引擎
關於DolphinDB
1、DB-Engines 中的 DolphinDB
DolphinDB為企業IT人員、業務人員與決策者提供數據管理與分析應用一站式解決方案實現內部協作與融合,貫通企業數據應用鏈條,充分利用數據價值。
在世界數據庫流行度排行榜DB-Engines中可以看到,DolphinDB位於時序數據庫榜單第十,也是國內唯一一家入圍前十的時序數據庫產品,並且流行度也在不斷攀升。
圖9 DolphinDB 在DB-Engines 中的流行度
2、DolphinDB 代表客戶
DolphinDB為金融、工業物聯網、電力、能源、交通等各行業客戶提供優質服務。
圖10 DolphinDB 代表客戶
如果您也是金融領域、或者物聯網領域並對時序數據感興趣,歡迎您來嘗試DolphinDB,我們
為海量數據(特別是時間序列數據)的快速存儲、檢索、計算及分析提供一站式解決方案。
以上就是我今天的分享內容,謝謝大家!
更多精彩內容,歡迎大家觀看現場視頻回放與會議資料
- 查看原文:https://www.modb.pro/db/336226
- 查看【國產數據庫沙龍】往期生態工具、圖數據庫專場文章、視頻回放資源:https://www.modb.pro/topic/157860
墨天輪,圍繞數據人的學習成長提供一站式的全面服務,打造集新聞資訊、在線問答、活動直播、在線課程、文檔閱覽、資源下載、知識分享及在線運維為一體的統一平台,持續促進數據領域的知識傳播和技術創新。
關注官方公眾號: 墨天輪、 墨天輪平台、墨天輪成長營、數據庫國產化 、數據庫資訊