本文根據美團基礎架構部/容器研發中心技術總監歐陽堅在2018 QCon（全球軟件開發大會）上的演講內容整理而成。 背景 美團的容器集群管理平台叫做HULK。漫威動畫里的HULK在發怒時會變成“綠巨人”，它的這個特性和容器的“彈性伸縮”很像，所以我們給這個平台起名為HULK。貌似有一些 ...

大數據平台現狀 餓了么的大數據平台團隊成立於2015年5月份左右，在16年4月份，Hadoop集群規模還只在100+節點數，而在一年時間里集群規模快速增長到1000+的水平，這還是在引入數據生命周期進行管控的情況下的規模增速；同樣，流計算集群的規模雖然相對較小，但也經歷了10倍的增長，一些 ...

一個常見的大數據平台架構 這是一個典型的大數據架構，且對架構進行了「分層」，分為「數據源層」、「數據傳輸層」、「數據存儲層」、「編程模型層」和「數據分析層」，如果繼續往上走的話，還有「數據可視化層」和「數據應用層」。 ...

1、Lambda架構 Lambda架構是大數據平台里最成熟、最穩定的架構，它的核心思想是：將批處理作業和實時流處理作業分離，各自獨立運行，資源互相隔離。 標准的Lambda架構有如下幾個層次： （1）Batch Laye：主要負責所有的批處理操作，支撐該層的技術以Hive ...

筆者早期從事數據開發時，使用spark開發一段時間，感覺大數據開發差不多學到頭了，該會的似乎都會了。在后來的實踐過程中，發現很多事情需要站在更高的視角來看問題，不然很容易陷入“不識廬山真面目”的境界。最近在思考數據資產管理平台的建設，進行血緣分析開發，有如下感悟： 大數據平台從數據層面來說，包括 ...

何謂五橫，基本還是根據數據的流向自底向上划分五層，跟傳統的數據倉庫其實很類似，數據類的系統，概念上還是相通的，分別為數據采集層、數據處理層、數據分析層、數據訪問層及應用層。同時，大數據平台架構跟傳統數據倉庫有一個不同，就是同一層次，為了滿足不同的場景，會采用更多的技術組件，體現百花齊放的特點，這是 ...

進行管理，利用大數據和機器學習能力去挖掘、識別、利用數據資產。如果缺乏有效的數據整體架構設計或者部分能 ...

一、總體設計 初來公司時，公司還沒有大數據，我是作為大數據架構師招入的，結合公司的線上和線下業務，制定了如下的大數據架構路線圖。 二、大數據任務開發和調度平台架構設計 在設計完總體架構后，並且搭建完hadoop/yarn的大數據底層計算平台后， 按照總體架構設計思路， 首先需要構建 ...