大数据技术
大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...
原文：关于大数据技术的一点思考
大数据技术在当下时代，已经不算是什么新鲜东西了。但绝大部分同学往往又是没机会接触大数据相关底层技术的，包括我自己。 不过，俗话说没吃过猪肉还没见过猪跑吗 哈哈，今天就来说说我对大数据技术的思考吧，希望会给部分同学解开一些迷惑 .什么是大数据 我们不搞虚的：大数据就是数据量比较大的场景，比如上TB或者PB级别以上的，基本就要归属于大数据的范畴了。 所以，如果你用关系型 数据库处理以上级别的数据，做 ...
2020-09-28 08:47 1 658 推荐指数：
相关推荐
大数据技术
一.大数据预处理技术 现实世界中的数据一般是不完整的、 带有随机性的、有噪声的或不唯一、不一致的“脏数据”，数据质量不高，无法直接进行数据挖掘，或者挖掘的效果差强人意。为了以后的处理更加方便以及模型具有更好的效果，往往在使用模型之前需要对数据进行预处理，就产生了数据预处理技术。 数据 ...
关于写技术博客的一点思考
首先，自我批评一下，自己之前写了好多篇毫无营养价值了水文，但我最后还是决定保留那些文章，毕竟是一个成长的过程。 在痛定思痛以及和他人交流之后，我做出了一个决定，以后写博客一定要包含下列条件中 ...
技术选型的一点个人思考
目录 1.前言 2.效率 2.1没有绝对的效率 2.2效率是否绝对重要 3环境 3.1国内开发大环境 3.2技术社区的影响 4团队 4.1 团队负责人及核心骨干的技术积累以及技术偏好 ...
大数据各组件重要技术点总结
介绍 针对大数据组件特点归纳如下: 存储：HDFS，hudi，Hbase, Kafka 计算引擎：Spark,Flink OLAP: Doris 调度: Yarn 下面主要从架构、组件原理、业务场景等角度针对相关组件的技术要点进行总结. 主要以问题驱动. 组件技术要点 ...
浅谈大数据技术
发表一点浅显的认识，理解肯定有不到位之处请大家批评指正。 无论是大数据技术还是云计算技术，其实这些技 ...
主流大数据技术
主流的大数据技术可以分为两类：一类是面向非实时批处理业务场景，着重于处理传统数据处理技术在有限的时空环境里无法胜任的TB级、PB级海量数据存储、加工、分析、应用等。比较主流的支撑技术有：HDFS、MapReduce、Hive等。另一类是面向实时处理业务场景，比较主流的支撑技术为HBase ...