大数据方面核心技术有哪些
简单来说，从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术，下面分开来说： 一、大数据采集 大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。 数据库采集：流行 ...
原文：大数据处理过程核心技术ETL详细介绍
架构挑战 对现有数据库管理技术的挑战。 经典数据库技术并没有考虑数据的多类别 variety SQL 结构化数据查询语言 ，在设计的一开始是没有考虑到非结构化数据的存储问题。 实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行 天获得结果依然没什么问题。但实时处理的要求，是区别大数据应用和传统数据仓库技术 BI技术的关键差别之一。 网络架构 ...
2019-03-25 11:20 0 3981 推荐指数：
相关推荐
大数据安全核心技术
01 数据采集安全技术 01.01 传输安全 虚拟专用网络将隧道技术、协议封装技术、密码技术和配置管理技术结合在一起，采用安全通道技术在源端和目的端建立安全的数据通道，通过将待传输的原始数据进行加密和协议封装处理后再嵌套装入另一种协议的数据报文中，像普通数据报文一样在网络中进行传输 ...
大数据七大核心技术概念
大数据概念： 大数据究竟是什么？很多人可能仍然有些混淆，本文让我们来看看大数据的一些主要的定义。首先要注意的是… 大数据概念： 大数据究竟是什么？很多人可能仍然有些混淆，本文让我们来看看大数据的一些主要的定义。首先要注意的是，行业内的所有人都普遍认同，大数据不只是 ...
Spark大数据处理 之 从WordCount看Spark大数据处理的核心机制（2）
在上一篇文章中，我们讲了Spark大数据处理的可扩展性和负载均衡，今天要讲的是更为重点的容错处理，这涉及到Spark的应用场景和RDD的设计来源。 Spark的应用场景 Spark主要针对两种场景： 机器学习，数据挖掘，图应用中常用的迭代算法（每一次迭代对数据执行相似的函数 ...
Spark大数据处理 之 从WordCount看Spark大数据处理的核心机制（1）
大数据处理肯定是分布式的了，那就面临着几个核心问题：可扩展性，负载均衡，容错处理。Spark是如何处理这些问题的呢？接着上一篇的“动手写WordCount”，今天要做的就是透过这个大数据界的HelloWorld来看看Spark隐藏了哪些魔法。 请各位看官，带着分布式的问题往下看。 分布式架构 ...
[翻译]大数据处理的趋势-五种开源技术介绍
作者：杨鑫奇 本篇文章是一篇翻译文章，对未来大数据领域的技术进行一些前瞻性的介绍，个人感觉他写的文章还是很好的，推荐的技术也具有的一定的代表性，遂将本篇文章翻译出来，感兴趣的大家能够看看。 大数据领域的处理，我自己本身接触的时间也不长，正式的项目还在开发之中，深受大数据处理方面的吸引，所以也就 ...
我的《海量数据处理与大数据技术实战》出版啦！
我是如何持续写作的？ 其实，关于写作，我也没多想，就是想着总结自己学习和工作中遇到的一些问题。我最开始写文章并不是在CSDN或者其他的一些博客平台，而是在QQ空间。那时的我还在上学，在QQ空间里 ...