網易雲音樂基於 Flink + Kafka 的實時數倉建設實踐
簡介：本文由網易雲音樂實時計算平台研發工程師岳猛分享，主要從以下四個部分將為大家介紹 Flink + Kafka 在網易雲音樂的應用實戰： 背景 Flink + Kafka 平台化設計 Kafka 在實時數倉中的應用 問題 & 改進 直播回放 ...
原文：基於 Kafka 的實時數倉在搜索的實踐應用
一 概述 Apache Kafka 發展至今，已經是一個很成熟的消息隊列組件了，也是大數據生態圈中不可或缺的一員。Apache Kafka 社區非常的活躍，通過社區成員不斷的貢獻代碼和迭代項目，使得 Apache Kafka 功能越發豐富 性能越發穩定，成為企業大數據技術架構解決方案中重要的一環。 Apache Kafka 作為一個熱門消息隊列中間件，具備高效可靠的消息處理能力，且擁有非常廣泛的應 ...
2022-02-28 11:25 0 903 推薦指數：
相關推薦
實時數倉在滴滴的實踐和落地
桔妹導讀：隨着滴滴業務的高速發展，業務對於數據時效性的需求越來越高，而伴隨着實時技術的不斷發展和成熟，滴滴也對實時建設做了大量的嘗試和實踐。本文主要以順風車這個業務為引子，從引擎側、平台側和業務側各個不同方面，來闡述滴滴所做的工作，分享在建設過程中的經驗。 1. 實時數倉建設目的 ...
實時數倉
工具的升級和新工具的應用，數據量變的越來越大，數據格式越來越多，決策要求越來越苛刻，數據倉庫技術也在不停 ...
快手基於 Flink 構建實時數倉場景化實踐
簡介： 一文了解快手基於 Flink 構建的實時數倉架構，以及一些難題的解決方案。 本文整理自快手數據技術專家李天朔在 5 月 22 日北京站 Flink Meetup 分享的議題《快手基於 Flink 構建實時數倉場景化實踐》，內容包括： 快手實時計算場景 ...
順豐科技 Hudi on Flink 實時數倉實踐
簡介： 介紹了順豐科技數倉的架構，趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節，以及未來的一些規划。 本文作者為劉傑，介紹了順豐科技數倉的架構，趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節，以及未來的一些規划。主要內容為： 數倉架構 ...
如何建設實時數倉
1 為什么要建設實時數倉 在開始說如何建設實時數倉之前，我們先說一下建設實時數倉的目的，實時數倉解決了什么問題。 其實在很多情況下，我們對於實時數倉的定位可能是沒有那么准確的。我們都知道，傳統數倉一個非常重要的功能是用於記錄歷史，而實時數倉恰恰相反，它更重視處理當前的狀態。 因此，我們創建 ...