Spark (Python版) 零基础学习笔记（一）—— 快速入门
由于Scala才刚刚开始学习，还是对python更为熟悉，因此在这记录一下自己的学习过程，主要内容来自于spark的官方帮助文档，这一节的地址为： http://spark.apache.org/docs/latest/quick-start.html 文章主要是翻译了文档的内容，但也在里 ...
原文：Spark (Python版) 零基础学习笔记（二）—— Spark Transformations总结及举例
. map func 将func函数作用到数据集的每个元素，生成一个新的分布式的数据集并返回 . filter func 选出所有func返回值为true的元素，作为一个新的数据集返回 . flatMap func 与map相似，但是每个输入的item能够被map到 个或者更多的items输出，也就是说func的返回值应当是一个Sequence，而不是一个单独的item . mapPartiti ...
2016-11-13 07:54 0 4839 推荐指数：
相关推荐
Spark学习笔记（一）——基础概述
本篇笔记主要说一下Spark到底是个什么东西，了解一下它的基本组成部分，了解一下基本的概念，为之后的学习做铺垫。过于细节的东西并不深究。在实际的操作过程中，才能够更加深刻的理解其内涵。 1、什么是Spark？ Spark是由美国加州伯克利大学的AMP实验室开发的，一款基于内存计算的大数据 ...
Spark编程基础（Python版）
Spark入门教程(Python版) 教材官网 http://dblab.xmu.edu.cn/post/spark-python/ 电子教材： http://dblab.xmu.edu.cn/blog/1709-2/ 授课视频 https://study.163.com ...
【原】Learning Spark (Python版) 学习笔记(四)----Spark Sreaming与MLlib机器学习
本来这篇是准备5.15更的，但是上周一直在忙签证和工作的事，没时间就推迟了，现在终于有时间来写写Learning Spark最后一部分内容了。 第10-11 章主要讲的是Spark Streaming 和MLlib方面的内容。我们知道Spark在离线处理数据上的性能很好，那么它在实时 ...
【原】Learning Spark (Python版) 学习笔记(三)----工作原理、调优与Spark SQL
】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令 【原】 ...
Python+Spark2.0+hadoop学习笔记——pyspark基础
在历经千辛万苦后，终于把所有的东西都配置好了。 下面开始介绍pyspark的一些基础内容，以字数统计为例。 1）在本地运行pyspark程序 读取本地文件 textFile=sc.textFile("file:/usr/local/spark/README.md ...
Spark学习笔记总结-超级经典总结
Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合 ...
Spark 学习笔记：（二）编程指引（Scala版）
参考： http://spark.apache.org/docs/latest/programming-guide.html 后面懒得翻译了，英文记的，以后复习时再翻。 摘要：每个Spark application包含一个driver program 来运行main 函数，在集群上进 ...