关于大数据技术的一点思考
大数据技术在当下时代，已经不算是什么新鲜东西了。但绝大部分同学往往又是没机会接触大数据相关底层技术的，包括我自己。 不过，俗话说没吃过猪肉还没见过猪跑吗？哈哈，今天就来说说我对大数据技术的思考吧，希望会给部分同学解开一些迷惑！ 1.什么是大数据 ...
原文：大数据各组件重要技术点总结
介绍 针对大数据组件特点归纳如下: 存储：HDFS，hudi，Hbase, Kafka 计算引擎：Spark,Flink OLAP: Doris 调度: Yarn 下面主要从架构 组件原理 业务场景等角度针对相关组件的技术要点进行总结. 主要以问题驱动. 组件技术要点 .hudi的cow,mor区别和应用场景 Cow: 写时复制技术就是不同进程在访问同一资源的时候，只有更新操作，才会去复制一份新的 ...
2022-04-19 21:41 0 626 推荐指数：
相关推荐
主流大数据技术总结
目录 背景 基本原理 HDFS（Hadoop Distributed File System） 架构原理 读写流程 索引 HBa ...
大数据生态圈及重要组件
Spark：计算引擎，框架媒介，调用配置所处位置下的机器的硬件设施来实现调用配置。使用内存来存储数据，运算快，断电丢失。对应于Hadoop圈中的MapReduce Hbase：分布式、面向列的数据库，存储和读取媒介，来源于BigTable（一个结构化数据的分布式存储系统），但HBase是一个非 ...
大数据技术
大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...
大数据技术
一.大数据预处理技术 现实世界中的数据一般是不完整的、 带有随机性的、有噪声的或不唯一、不一致的“脏数据”，数据质量不高，无法直接进行数据挖掘，或者挖掘的效果差强人意。为了以后的处理更加方便以及模型具有更好的效果，往往在使用模型之前需要对数据进行预处理，就产生了数据预处理技术。 数据 ...
大数据组件
一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK ...
大数据与 AI 生态中的开源技术总结
本文由云+社区发表 作者：堵俊平 在数据爆炸与智能革命的新时代，新的平台与应用层出不穷，开源项目推动了前沿技术和业界生态快速发展。本次分享将以技术和生态两大视角来看大数据和人工智能技术的发展，通过分析当下热门的开源产品和技术，来梳理未来的行业生态以及技术趋势 ...
大数据基础总结---MapReduce和YARN技术原理
Map Reduce和YARN技术原理 学习目标 熟悉MapReduce和YARN是什么 掌握MapReduce使用的场景及其原理 掌握MapReduce和YARN功能与架构 熟悉YARN的新特性 MapReduce的概述 MapReduce基于Google发布 ...