小白学习Spark系列六：Spark调参优化
前几节介绍了下常用的函数和常踩的坑以及如何打包程序，现在来说下如何调参优化。当我们开发完一个项目，测试完成后，就要提交到服务器上运行，但运行不稳定，老是抛出如下异常，这就很纳闷了呀，明明测试上没问 ...
原文：小白学习Spark系列一：Spark简介
由于最近在工作中刚接触到scala和Spark，并且作为python中毒者，爬行过程很是艰难，所以这一系列分为几个部分记录下学习 Spark快速大数据分析 的知识点以及自己在工程中遇到的小问题，以下阶段也是我循序了解Spark的一个历程。 先抛出几个问题： 什么是Spark Spark内部是怎么实现集群调度的 如何调用Spark 如何打包一个Spark独立应用 一 Spark是什么 Spark是 ...
2018-09-13 10:05 0 932 推荐指数：
相关推荐
Spark学习（一） -- Spark安装及简介
标签（空格分隔）： Spark 学习中的知识点：函数式编程、泛型编程、面向对象、并行编程。 任何工具的产生都会涉及这几个问题： 现实问题是什么？ 理论模型的提出。 工程实现。 思考： 数据规模达到一台机器无法处理的时候，如何在有限的时间内对整个数据集进行遍历 ...
Spark 学习（八） SparkSQL简介
一，Spark SQL概述 1.1 什么是Spark SQL 1.2 为什么学Spark SQL 二，DataFrames 2.1 什么是DataFrames 2.2 创建DataFrames 三，DataFrame常用操作 3.1 DSL风格语法 3.2 ...
小白学习Spark系列四：RDD踩坑总结（scala+spark2.1 sql常用方法）
初次尝试用 Spark+scala 完成项目的重构，由于两者之前都没接触过，所以边学边用的过程大多艰难。首先面临的是如何快速上手，然后是代码调优、性能调优。本章主要记录自己在项目中遇到的问题以及解决方式，下篇会尝试调优方法。末尾会分享自己的学习资料，也供大多菜鸟第一次使用作为参考。由于自己项目 ...
小白学习Spark系列二：spark应用打包傻瓜式教程（IntelliJ+maven 和 pycharm+jar）
在做spark项目时，我们常常面临如何在本地将其打包，上传至装有spark服务器上运行的问题。下面是我在项目中尝试的两种方案，也踩了不少坑，两者相比，方案一比较简单，本博客提供的jar包适用于spark版本2.0以下的，如果jar包和版本不对应会出现找不到类或方法等错误提示信息，它主要借助于 ...
Spark（一）Spark简介
一、官网介绍 1 什么是Spark 官网地址：http://spark.apache.org/ Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室 ...
小白学习Spark系列五：scala解析多级json格式字符串
一、背景 处理json格式的字符串，key值一定为String类型，但value不确定是什么类型，也可能嵌套json字符串，以下是使用 JSON.parseFull 来解析多层json。 二 ...