原文:阿里巴巴大數據之路——數據技術篇

一 整體架構 從下至上依次分為數據采集層 數據計算層 數據服務層 數據應用層 數據采集層:以DataX為代表的數據同步工具和同步中心 數據計算層:以MaxComputer為代表的離線數據存儲和計算平台 數據服務層:以RDS為代表的數據庫服務 接口或者視圖形式的數據服務 數據應用層:包含流量分析平台等數據應用工具 二 數據采集 離線數據同步 數據采集主要分為日志采集和數據庫采集。日志采集暫略 參考書 ...

2018-07-25 10:40 0 2570 推薦指數:

查看詳情

阿里巴巴大數據之路——數據管理

一、概述   數據管理主要分為:元數據管理、計算管理、存儲和成本管理、數據質量管理 二、元數據   元數據主要分為兩大類:技術數據和業務元數據   技術數據:     存儲數據倉庫技術細節的數據,包括:     存儲元數據:表名、字段名、分區信息等     運行元數據:作業類型 ...

Fri Aug 03 21:39:00 CST 2018 0 2442
阿里巴巴內部:2020年全技術棧PPT分享(Java架構+算法+大數據

現當今我們能夠學習的技術有哪些?今天我就給大家推薦一下! 也算做一次技術總結(萬粉總結,回饋粉絲) 大數據,算法,PowerPoint,Java,Spark,阿里巴巴集團,技術數據庫,支付技術數據結構,推薦技術,Java虛擬機,Hadoop,Twitter,雲計算,新聞,Storm,社交 ...

Fri Oct 09 04:16:00 CST 2020 0 1191
阿里巴巴大數據競賽總結

——謹將此文獻給阿瑞(@Nyanko君一生懸命)和湛盧。阿瑞在MapReduce等方面提供的技術支持,使我們成為最早充分利用ODPS的團隊之一;湛盧提出很多分析問題的新思路,讓我們在走投無路的時候屢次重拾希望。 0. 寫在最前面 這個系列的幾篇文章,記錄我們隊對於問題的整個處理 ...

Mon Aug 11 05:49:00 CST 2014 0 2409
阿里巴巴大數據實踐筆記】第8章:大數據領域建模綜述

1、為什么要建模意義 圖書,希望分門別類擺放,電腦桌面上文件希望是自己習慣組織方式。 數據模型:數據組織和存儲方法。強調從業務、存取和使用角度合理存儲。(爛程序員關心代碼,好的程序員關系數據結構和他們間的關系) 重要性: (1)性能:快速查詢、減少IO。 (2)成本:降低計算和存儲 ...

Fri Oct 12 17:34:00 CST 2018 1 662
阿里巴巴飛天大數據架構體系與Hadoop生態系統

很多人問阿里的飛天大數據平台、雲梯2、MaxCompute、實時計算到底是什么,和自建Hadoop平台有什么區別。 先說Hadoop 什么是Hadoop?Hadoop是一個開源、高可靠、可擴展的分布式大數據計算框架系統,主要用來解決海量數據的存儲、分析、分布式資源調度等。Hadoop最大的優點 ...

Fri Sep 13 00:16:00 CST 2019 0 761
阿里巴巴雲原生大數據運維平台 SREWorks 正式開源

​簡介:阿里巴巴雲原生大數據運維平台 SREWorks,沉淀了團隊近10年經過內部業務錘煉的 SRE 工程實踐,今天正式對外開源,秉承“數據化、智能化”運維思想,幫助運維行業更多的從業者采用“數智”思想做好高效運維。 ​ 作者 | 晟白 來源 | 阿里技術公眾號 隨着行業不斷發展 ...

Fri Mar 25 19:12:00 CST 2022 0 685
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM