簡介: VLDB 2021上,阿里雲計算平台MaxCompute參與的論文入選,核心分布式調度執行引擎Fangorn、基於TVR Cost模型的通用增量計算優化器框架Tempura等分別被Industry Track、Research Track錄取。
一、頂會概覽
VLDB 2021上,阿里雲計算平台MaxCompute參與的論文入選,核心分布式調度執行引擎Fangorn、基於TVR Cost模型的通用增量計算優化器框架Tempura等分別被Industry Track、Research Track錄取。
作為數據管理與數據庫領域三大頂級學術會議之一,VLDB每年都吸引了各大高校、科研機構與科技公司的論文投稿,許多重要技術成果都在VLDB上中選發布。
多篇研究成果的發布離不開25位計算平台布道師和達摩院布道師花費大量時間撰寫和修改,布道師們通過撰寫論文和參加學術會議,借助布道的力量,傳播阿里雲技術優勢,為推動開放共贏的雲計算生態作出積極貢獻。
二、首次提出多種執行模式和調度策略混合的動態設計
Fangorn在業界首次提出通過混合執行模式來管理分布式作業的設計,允許執行框架自動探索性能與資源利用間的最佳平衡。 其采用的組件間輕耦合的分層架構,能根據實時數據統計信息,對分布式作業進行多層次的動態調整,為MaxCompute以及PAI平台上的多種計算作業提供自適應的最優執行計划。
”如何在超大規模集群和系統中,同時管理多種計算負載的問題,是當前業界數據公司的重點研究方向“,Fangorn在這些方向上的創新,以及在MaxCompute等多個生產平台上的全面落地,為分布式系統的多層次優化打開了大門。
三、首個基於TVR Cost模型的通用增量計算優化器框架
Tempura提出了一種介於傳統流處理和批處理之間的全新增量計算模式,結合批處理的高資源利用率和流處理低延遲的優勢,提供了在計算資源消耗、執行時間調度、查詢延遲、數據處理粒度等方面的靈活權衡。提出了世界上首個基於TVR Cost模型的通用增量計算優化器框架,在集成眾多現有增量計算方法的同時,用戶可以隨時增添任意自定義增量計算方法。
世界上首個落地生產的漸進式優化項目,在MaxCompute漸進式智能數據倉庫業務中廣泛使用,相比傳統批處理,在縮短作業運行時間的同時,節省大量計算資源。
四、阿里雲布道師、論文作者:
論文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on
Shared Clusters
陳穎達、王家忙、陸一峰、韓穎、呂志強、閔雪賓、才華、張煒、范浩川、李超、關濤、林偉、賈揚清、周靖人
論文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing
王作至、曾凱、黃柏彤、陳唯、崔曉宗、王博、劉吉、樊莉亞、渠大川、侯震宇、關濤、李晨、周靖人
五、延伸閱讀:
VLDB全稱International Conference on Very Large Date Bases,是數據庫領域的頂級學術會議,和SIGMOD、ICDE共同構成了數據管理與數據庫領域的三大頂級會議。本次2021大會共收錄了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。
論文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters(http://vldb.org/pvldb/vol14/p2972-chen.pdf)
論文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing(http://www.vldb.org/pvldb/vol14/p14-wang.pdf)
本文為阿里雲原創內容,未經允許不得轉載。