如今，大数据技术已进入“后红海”时代，成了“水电煤”一样可以普惠人人的技术。同时，新领域仍在不断演进迭代。 本文的上篇 “Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？”，阐述了后红海时代下大数据体系的演进热点是什么，以及大数据体系3个子领域的技术解读，包括多层智能化 ...

大数据之图计算相关原理 最近在看大数据图计算相关的论文，故将图计算的原理简单梳理一遍，参考资料为<<大数据技术原理与应用>> 一、图计算简介 1.1. 图结构： 图形数据结构与一般数据结构不同，它必须要反映数据所对应元素之间的几何关系和拓扑关系。图形数据 ...

1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop ...

大数据技术路线图 --全图 enter description here ...

近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，所以，这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点； 大数据相关脑图： PS.上图中的所有课程以及项目，皆可在实验楼在线学习； 当然，除了上面的脑图 ...

...

1、概述 Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。presto可以通过使用分布式查询，可以快速高效的完成海量数据的查询。它是完全基于内存的，所以速度非常快。presto不仅可以查询HDFS，还可以查询RDMBS数据库。 具体的介绍可以参考 ...

ETL 概念 ETL 这个术语来源于数据仓库，ETL 指的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是 BI 项目重要的一个环节。 通常情况下，在 BI 项目中 ETL ...