簡介: Flink 在唯品會的容器化實踐應用以及產品化經驗。 唯品會自 2017 年開始基於 k8s 深入打造高性能、穩定、可靠、易用的實時計算平台,支持唯品會內部業務在平時以及大促的平穩運行。現平台支持 Flink、Spark、Storm 等主流框架。本文主要分享 Flink ...
簡介:唯品會 Flink 的容器化實踐應用,Flink SQL 平台化建設,以及在實時數倉和實驗平台上的應用案例。 轉自dbaplus社群公眾號作者:王康,唯品會數據平台高級開發工程師 自 年起,為保障內部業務在平時和大促期間的平穩運行,唯品會就開始基於 Kubernetes 深入打造高性能 穩定 可靠 易用的實時計算平台,現在的平台支持 Flink Spark Storm 等主流框架。 本文將分 ...
2021-06-24 16:36 0 170 推薦指數:
簡介: Flink 在唯品會的容器化實踐應用以及產品化經驗。 唯品會自 2017 年開始基於 k8s 深入打造高性能、穩定、可靠、易用的實時計算平台,支持唯品會內部業務在平時以及大促的平穩運行。現平台支持 Flink、Spark、Storm 等主流框架。本文主要分享 Flink ...
簡介: 鑒於有很多企業都無法配備專門的團隊來解決 Flink SQL 平台化的問題,那么到底有沒有一個開源的、開箱即用的、功能相對完善的組件呢?答案就是本文的主角——Apache Zeppelin。 作者:LittleMagic 大數據領域 SQL 化開發的風潮方興未艾(所謂 ...
作者:LittleMagic 大數據領域 SQL 化開發的風潮方興未艾(所謂"Everybody knows SQL"),Flink 自然也不能“免俗”。 Flink SQL 是 Flink 系統內部最高級別的 API,也是流批一體思想的集大成者。 用戶可以通過簡單明了的 SQL 語句像查表 ...
【51CTO.com原創稿件】Kubernetes是Google開源的一個容器編排引擎,它支持自動化部署、大規模可伸縮、應用容器化管理。伴隨着雲原生技術的迅速崛起,如今Kubernetes 事實上已經成為應用容器化平台的標准,越來越受到企業的青睞,在生產中也應用的越來越廣泛。 我們的容器平台建設 ...
隨着業務的不斷發展,軟件系統不可避免的走向熵增:復雜度越來越高、研發效率越來越差、穩定性逐漸降低等。這時抽象核心能力,走向平台化的道路成為很多系統的首要選擇。筆者結合自己的經驗,總結了平台化建設的幾種思路,希望對大家建設平台化有所幫助。 平台化有以下優點 復用性強:復用核心邏輯,業務功能 ...
大數據平台在唯品會近幾年有了飛速發展,已經完成了從0到1的過程,各個部門逐漸將其引入到實際業務中。 “百尺竿頭,更進一步”,在業務壓力和集群負載同步增加的情況下,如何實現平台優化是2017年的主旋律。 我們不可能面面俱到講所有新東西,主要從集群健康和資源有效利用角度進行探討,圍繞集群監控 ...
簡介: 本文由知乎技術平台負責人孫曉光分享,主要介紹知乎 Flink 數據集成平台建設實踐。內容如下: 1. 業務場景 ; 2. 歷史設計 ; 3. 全面轉向 Flink 后的設計 ; 4. 未來 Flink 應用場景的規划。 本文由知乎技術平台負責人孫曉光分享,主要介紹知 ...
容器對前端開發真的有用嗎?答案是肯定的。 最初當我向公司的前端同學「安利」容器技術的時候,很多人都會說:「容器?這不是用在后端的技術嗎?我不懂啊,而且前端開發用不上吧。」 但其實,今天我們討論的「前端」已經不是傳統意義上的「前端」, 首先體現在終端類型的多樣性,比如 iOS ...