美團DB數據同步到數據倉庫的架構與實踐
Hive中，是進行數據倉庫生產的重要環節。 如何准確、高效地把MySQL數據同步到Hive中？一般常用的解 ...
原文：【轉】美團 MySQL 數據實時同步到 Hive 的架構與實踐
文章轉載自公眾號美團技術團隊，作者 萌萌 背景 在數據倉庫建模中，未經任何加工處理的原始業務層數據，我們稱之為ODS Operational Data Store 數據。在互聯網企業中，常見的ODS數據有業務日志數據 Log 和業務DB數據 DB 兩類。對於業務DB數據來說，從MySQL等關系型數據庫的業務數據進行采集，然后導入到Hive中，是進行數據倉庫生產的重要環節。 如何准確 高效地把MyS ...
2019-11-19 10:10 4 569 推薦指數：
相關推薦
MySQL數據實時同步到Hive的架構
Hive中，是進行數據倉庫生產的重要環節。 如何准確、高效地把MySQL數據同步到Hive中？一般常 ...
美團大數據平台架構實踐
http://blog.51cto.com/jackwxh/1899802 今天給大家介紹的內容主要包括以下四個部分首先是介紹一下美團大數據平台的架構，然后回顧一下歷史，看整個平台演進的時間演進線，每一步是怎么做的，以及一些挑戰和應對策略，最后總結一下，聊一聊我對平台化的看法。 謝語宸 ...
美團點評基於 Flink 的實時數倉建設實踐
引言 近些年，企業對數據服務實時化服務需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景，介紹了美團如何通過 Flink 引擎構建實時數據倉庫，從而提供高效、穩健的實時數據服務。此前我們美團技術博客發布過一篇文章《流計算框架 Flink 與 Storm 的性能對比》，對 Flink ...
美團點評基於 Flink 的實時數倉建設實踐
引言 近些年，企業對數據服務實時化服務的需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景，介紹了美團如何通過 Flink 引擎構建實時數據倉庫，從而提供高效、穩健的實時數據服務。此前我們美團技術博客發布過一篇文章《流計算框架 Flink 與 Storm 的性能對比》，對 Flink ...
美團點評基於 Flink 的實時數倉平台實踐
一、美團點評實時計算演進 美團點評實時計算演進歷程 在 2016 年，美團點評就已經基於 Storm 實時計算引擎實現了初步的平台化。2017 年初，我們引入了 Spark Streaming 用於特定場景的支持，主要是在數據同步場景方面的嘗試。在 2017 年底，美團點評實時計算平台引入 ...
【美團·成都沙龍報名】美團收銀系統微服務架構實踐
【美團技術沙龍】由美團技術團隊和美團科協主辦，每期沙龍邀請美團及其他互聯網公司的技術專家分享來自一線的實踐經驗，覆蓋各主要技術領域。 活動時間：2019年12月28日 14:00-17:30 活動地址：四川省成都市武侯區都會路66號城南天府大廈（5樓成都人才服務中心）·蓉漂咖啡逐夢廳 ...
美團容器平台架構及容器技術實踐
本文根據美團基礎架構部/容器研發中心技術總監歐陽堅在2018 QCon（全球軟件開發大會）上的演講內容整理而成。 背景 美團的容器集群管理平台叫做HULK。漫威動畫里的HULK在發怒時會變成“綠巨人”，它的這個特性和容器的“彈性伸縮”很像，所以我們給這個平台起名為HULK。貌似有一些 ...