花费 11 ms
数据应用场景之标签管理体系

一、标签简介 标签概念 标签,最初用来对实物进行分类和标记,例如标明物品的品名、重量、体积、用途等简要信息。后来逐渐流行到数据行业,用来标记数据,对数据快速分类获取和分析。 标签特点 精确描述 ...

Thu Dec 31 07:50:00 CST 2020 0 955
数据服务基础能力之元数据管理

一、业务背景 1、应用场景 在多变的数据服务场景中,应用中常见如下的业务需求,通过对多种数据结构的灵活组合,快速实现业务模型构建,整体示意图如下: 像常用的画图工具,左边提供基础图形库,中间 ...

Tue Oct 19 07:10:00 CST 2021 0 264
大数据简介,技术体系分类整理

本文源码:GitHub·点这里 || GitEE·点这里 一、大数据简介 1、基础概念 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的 ...

Tue Sep 15 16:56:00 CST 2020 1 1072
实时计算框架:Spark集群搭建与入门案例

一、Spark概述 1、Spark简介 Spark是专为大规模数据处理而设计的,基于内存快速通用,可扩展的集群计算引擎,实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流,运算速度相比于 ...

Mon Apr 26 16:31:00 CST 2021 0 507
OLAP引擎:基于Presto组件进行跨数据源分析

一、Presto概述 1、Presto简介 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节,Presto虽然具备解析SQL的能力,但它并不属于标准的数 ...

Sun Apr 18 20:52:00 CST 2021 0 390
数据管理:业务数据清洗,落地实现方案

一、业务背景 在系统业务开发的过程中,都会面临这样一个问题:面对业务的快速扩展,很多版本在当时没有时间去全局考虑,导致很多业务数据存储和管理并不规范,例如常见的问题: 地址采取输入的方式,而 ...

Wed Jun 09 16:13:00 CST 2021 0 1586
Hadoop框架:HDFS高可用环境配置

本文源码:GitHub·点这里 || GitEE·点这里 一、HDFS高可用 1、基础描述 在单点或者少数节点故障的情况下,集群还可以正常的提供服务,HDFS高可用机制可以通过配置Active/ ...

Wed Oct 28 06:51:00 CST 2020 0 659
CDP客户数据管理平台体系化搭建

一、Cdp系统简介 1、基本概念 客户数据平台(Customer-Data-Platform),简称CDP;通过采集多方客户数据(主体与线索)等,从而进行精准的客户分析和人群细分,进而实现高效的客 ...

Tue Nov 02 16:28:00 CST 2021 0 1175
数据调度组件:基于Azkaban协调时序任务执行

一、Azkaban概述 1、任务时序 在数据服务的业务场景中,很常见的业务流程就是日志文件经过大数据分析,再向业务输出结果数据;在该过程中会有很多任务需要执行,并且很难精准把握任务执行的结束时间, ...

Tue Mar 30 16:25:00 CST 2021 0 344
OLAP引擎:基于Druid组件进行数据统计分析

一、Druid概述 1、Druid简介 Druid是一款基于分布式架构的OLAP引擎,支持数据写入、低延时、高性能的数据分析,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领 ...

Mon Apr 05 19:07:00 CST 2021 0 333

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM