第一章: 一.介绍 Spark是基于内存的迭代计算 四.Local模式 仅仅本机运行 Local[k]代表有几个线程在跑 Local[*]代表跑满 五.spark使用 1. ...
javaSE基础 Java进阶 集合类 多线程 JVM MySQL java高级 JavaWeb shell Hadoop,HadoopHA,Zookeeper hive Flume kafka hbase phoniex sqoop 离线电商数仓 CDH数仓 hue, oozie, impala, kerberos scala spark 实时 scala复习 算法 spark复习 参考资料: ...
2021-05-17 17:27 0 386 推荐指数:
第一章: 一.介绍 Spark是基于内存的迭代计算 四.Local模式 仅仅本机运行 Local[k]代表有几个线程在跑 Local[*]代表跑满 五.spark使用 1. ...
尚硅谷大数据技术之 Hadoop(入门) (作者:尚硅谷大数据研发部)版本:V3.3 第 1 章 Hadoop 概述 1.1 Hadoop 是什么 1) Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2) 主要解决,海量数据的存储和海量数据的分析计算问题 ...
简单来说,从大数据的生命周期来看,无外乎四个方面:大数据采集、大数据预处理、大数据存储、大数据分析,共同组成了大数据生命周期里最核心的技术,下面分开来说: 一、大数据采集 大数据采集,即对各种来源的结构化和非结构化海量数据,所进行的采集。 数据库采集:流行 ...
Hadoop 一.大数据入门 ...
尚硅谷大数据技术之电商用户行为分析 第1章 项目整体介绍 1.1 电商的用户行为 电商平台中的用户行为频繁且较复杂,系统上线运行一段时间后,可以收集到大量的用户行为数据,进而利用大数据技术进行深入挖掘和分析,得到感兴趣的商业指标并增强对风险的控制。 电商用户行为数据多样,整体可以分为 ...
更多的数据。 (1)最初的大数据 大数据的特征可以用很多词来描述。2001年Doug Lan ...
01 数据采集安全技术 01.01 传输安全 虚拟专用网络将隧道技术、协议封装技术、密码技术和配置管理技术结合在一起,采用安全通道技术在源端和目的端建立安全的数据通道,通过将待传输的原始数据进行加密和协议封装处理后再嵌套装入另一种协议的数据报文中,像普通数据报文一样在网络中进行传输 ...
该图基本上全面介绍了大数据技术栈中所有的内容,参考自阿里云社区https://yq.aliyun.com/articles/171813 以下转载了相关的技术栈说明 https://blog.csdn.net/Thousa_Ho/article/details/78737945 ,后续 ...