花费 21 ms
Spark学习之路 (一)Spark初识

一、官网介绍 1、什么是Spark 官网地址:http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看,Spa ...

2018-04-20 05:24 3 157741
Spark学习之路 (三)Spark之RDD

一、RDD的概述 1.1 什么是RDD? RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的 ...

2018-04-21 19:28 11 97621
Spark中文指南(入门篇)-Spark编程模型(一)

前言 本章将对Spark做一个简单的介绍,更多教程请参考: Spark教程 ##本章知识点概括 - Apache Spark简介 - Spark的四种运行模式 - Spark基于St ...

2016-06-28 02:59 3 98733
大数据学习之路(持续更新中...)

在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步。所以,我就在自己学习的过程中总结一下学 ...

2016-12-19 04:22 31 74702
Spark入门——什么是Hadoop,为什么是Spark?

  #Spark入门#这个系列课程,是综合于我从2017年3月分到今年7月份为止学习并使用Spark的使用心得感悟,暂定于每周更新,以后可能会上传讲课视频和PPT,目前先在博客园把稿子打好。注意:这只 ...

2018-07-19 23:08 11 42422
HDFS常用命令

1. 文件操作 (1) 列出HDFS下的文件 (2) 列出HDFS文件下名为in的文档中的文件 (3) 上传文件 将hadoop目录下的test1文件上传到HDFS ...

2015-03-05 04:27 0 109438
Spark函数详解系列之RDD基本转换

摘要: RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集 RDD有两种操作算子 ...

2016-04-10 09:51 3 73179
Spark(一): 基本架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Had ...

2016-08-31 05:51 4 52932

 
粤ICP备18138465号  © 2018-2020 CODEPRJ.COM