最近刚学习spark，用spark-submit命令提交一个python脚本，一开始老报错，所以打算好好整理一下用spark-submit命令提交python脚本的过程。先看一下spa ...

最近公司新弄来一台linux redhat 4.4.7服务器，准备在上面离线安装python3.7,安装过程中出现一些问题，特此记录下来。 首先在python官网上下载了 Python-3.7.3 ...

公司的hadoop集群是之前的同事搭建的，我(小白一个)在spark shell中读取hdfs上的文件时，执行以下指令 >>> word=sc.textFile("hd ...

先说一下，我用的centos7，root用户。ssh的原理就不说了，网上介绍的文章很多，直接开始说操作步骤吧： 1.首先确认有没有安装ssh，输入 rpm -qa |grep ssh查看 这 ...

文章转载自《必须了解的PySpark 的背后原理》 Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shu ...