Spark入门系列教程一 —— Spark2.3.1 集群安装
有朋友希望我能教他们学大数据，其实我自己也很一般，所以计划写几篇博文，希望能够帮助到初学者 1.机器准备 1.1准备三台以上Linux服务器，安装好jdk，安装过程自行百度。 1.2 安装open-ssh并配置免密登录，安装过程自行百度。 1.3 执行 vi /etc/hosts 指令 ...
原文：Spark 安装教程
Spark 安装教程 本文原始地址：https: sitoi.cn posts .html 安装环境 Fedora openjdk version . . 安装步骤 下载 Spark 安装包 解压 Spark 安装包 opt spark 目录 修改 Spark 配置 修改 PySpark 配置 下载 Spark 安装包 下载地址：http: spark.apache.org downloads.h ...
2019-11-08 13:41 0 470 推荐指数：
相关推荐
Spark教程(1)-Spark2.2.2安装和集群搭建
1.环境准备 安装Hadoop-2.7.2 安装scala-2.11.8 安装jdk-1.8.0_171 准备安装包:spark-2.2.2-bin-hadoop2.7.tgz,并解压至hadoop用户目录. 2.修改配置文件 .bash_profile ...
Spark-1.0.0 standalone分布式安装教程
Spark目前支持多种分布式部署方式：一、Standalone Deploy Mode；二Amazon EC2、；三、Apache Mesos；四、Hadoop YARN。第一种方式是单独部署，不需要有依赖的资源管理器，其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种 ...
spark安装
一 集群规划 使用standalone 模式．18台机器，一台master,17台slave 二 版本 scala-2.11.7.tgz spark-1.4.1-bin-hadoop2.6.tgz 三 安装 默认hadoop已经安装完成，没有安装的看hadoop安装那篇 3.1 安装 ...
Spark安装
参考http://www.powerxing.com/spark-quick-start-guide/#more-291 和 http://www.thebigdata.cn/Hadoop/29516.html Spark会用到HDFS和YARN ...
spark教程(二)-shell操作
spark 支持 shell 操作 shell 主要用于调试，所以简单介绍用法即可 支持多种语言的 shell 包括 scala shell、python shell、R shell、SQL shell 等 spark-shell 用于在 scala 的 shell 模式下操 ...
spark教程(10)-sparkSQL
sparkSQL 的由来 我们知道最初的计算框架叫 mapreduce，他的缺点是计算速度慢，还有一个就是代码比较麻烦，所以有了 hive； hive 是把类 sql 的语句转换成 mapreduce，解决了开发难的问题，但是 hive 的底层还是 mapreduce，仍然是慢； spark ...
Spark DataFrame ETL教程
前言 ETL是 Extract-Transform-Load的缩写，也就是抽取-转换-加载，在数据工作中是非常重要的部分。实际上，ETL就是一个对数据进行批处理的过程，一个ETL程序就是一个批处理脚 ...