Spark总结
#####1. 翻译 Apache Spark是一个快速的、通用的集群计算系统。它提供Java、Scala、Python和R中的高级api，以及一个支持通用执行图的优化引擎。它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的[Spark SQL]、用于机器学习的[MLlib]、用于 ...
原文：Redis, Spark总结
Spring spring 常见面试题 spring 面试题 Spring事务管理之几种方式实现事务 https: www.ibm.com developerworks cn java j master spring transactional use index.html SpringMVC SpringMvc 常见面试题整理 一 SpringMVC常见面试题总结 超详细回答 工作流程： . 用 ...
2019-08-02 17:24 0 407 推荐指数：
相关推荐
spark 操作redis
依赖库 spark 操作redis的时候，依赖的库是spark-redis 首先我们导入依赖 spark-redis 参数设置 首先初始化一个spark实例，spark-redis的参数在config中进行配置。 还可以设置一些额外的参数 简单使用 sc通过导入的隐式转换 ...
Spark原理小总结
1、spark是什么？ 快速，通用，可扩展的分布式计算引擎 2、弹性分布式数据集RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型 ...
Spark使用总结与分享
背景 使用spark开发已有几个月。相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验 ...
mesos上安装Spark总结
mesos的具体安装过程可以参考我的上一篇日志《mesos安装总结》。 安装Spark之前要在所有的主机上先安装JDK和Scala。JDK的安装过程就不赘述了。下面简单介绍一下Scala 2.9.2的安装过程。每台主机上都要安装！！！！ 首先，从scala官方网站下载scala 2.9.2 ...
Spark-Streaming总结
文章出处：http://www.cnblogs.com/haozhengfei/p/e353daff460b01a5be13688fe1f8c952.html Spark_总结五 1.Storm 和 SparkStreaming区别 ...
spark面试总结3
Spark core面试篇03 1.Spark使用parquet文件存储格式能带来哪些好处？ 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度 ...
spark常用算子总结
见我的原创文章原文： https://mianbaoduo.com/o/bread/mbd-YZ2Tmp8= ...