原文:快手基於 Flink 構建實時數倉場景化實踐

簡介:一文了解快手基於 Flink 構建的實時數倉架構,以及一些難題的解決方案。 本文整理自快手數據技術專家李天朔在 月 日北京站 Flink Meetup 分享的議題 快手基於 Flink 構建實時數倉場景化實踐 ,內容包括: 快手實時計算場景 快手實時數倉架構及保障措施 快手場景問題及解決方案 未來規划 一 快手實時計算場景 快手業務中的實時計算場景主要分為四塊: 公司級別的核心數據:包括公司 ...

2021-08-27 14:24 0 177 推薦指數:

查看詳情

基於Flink構建場景實時數

目錄: 一. 實時計算初期 二. 實時數建設 三. Lambda架構的實時數 四. Kappa架構的實時數 五. 流批結合的實時數 實時計算初期 雖然實時計算在最近幾年才火起來,但是在早期也有部分公司有實時計算的需求,但是數據量比較少,所以在實時方面形成不了完整的體系,基本所 ...

Sat Jul 17 21:00:00 CST 2021 1 873
美團點評基於 Flink實時數建設實踐

引言 近些年,企業對數據服務實時服務需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景,介紹了美團如何通過 Flink 引擎構建實時數據倉庫,從而提供高效、穩健的實時數據服務。此前我們美團技術博客發布過一篇文章《流計算框架 Flink 與 Storm 的性能對比》,對 Flink ...

Mon Sep 27 23:15:00 CST 2021 0 118
美團點評基於 Flink實時數建設實踐

引言 近些年,企業對數據服務實時服務的需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景,介紹了美團如何通過 Flink 引擎構建實時數據倉庫,從而提供高效、穩健的實時數據服務。此前我們美團技術博客發布過一篇文章《流計算框架 Flink 與 Storm 的性能對比》,對 Flink ...

Fri Oct 19 18:45:00 CST 2018 2 16971
順豐科技 Hudi on Flink 實時數實踐

​簡介: 介紹了順豐科技數的架構,趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節,以及未來的一些規划。 本文作者為劉傑,介紹了順豐科技數的架構,趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節,以及未來的一些規划。主要內容為: 數架構 ...

Tue Oct 12 18:47:00 CST 2021 0 113
網易雲音樂基於 Flink + Kafka 的實時數建設實踐

簡介:本文由網易雲音樂實時計算平台研發工程師岳猛分享,主要從以下四個部分將為大家介紹 Flink + Kafka 在網易雲音樂的應用實戰: 背景 Flink + Kafka 平台設計 Kafka 在實時數中的應用 問題 & 改進 直播回放 ...

Sat Oct 31 19:48:00 CST 2020 1 520
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM