前言 最新开始捣鼓flink，fucking the code之前，编译是第一步。 编译环境 win7 java maven 编译步骤 https://ci.apache.org/projects/flink/flink-docs-release-1.6/start ...

1. 环境准备 JDK1.8 Scala2.11.8 Maven 3.3+ IDEA with scala plugin 2. 下载spark源码 下载地址 https://archive.apache.org/dist/spark/spark ...

　　前些天用maven编译打包spark，搞得焦头烂额的，各种错误，层出不穷，想想也是醉了，于是乎，换种方式，使用sbt编译，看看人品如何！ 　　首先，从官网spark官网下载spark源码包，解压出来。我这边使用的是1.4.0版本。 　　然后，我们需要把sbt配置好，配置很简单，无非 ...

一、源码下载 spark源码下载：http://spark.apache.org/downloads.html 下载各个历史版本的源码包在这里下载：https://archive.apache.org/dist/spark/ 我下载的是：spark-2.1.0.tgz 二、编译源码 ...

环境： win10 jdk1.8 之前有在虚拟机或者集群上安装spark安装包的，解压到你想要放spark的本地目录下，比如我的目录就是D:\Hadoop\spark-1.6.0-bin-hadoop2.6 /** *注意： 之前在linux环境下安装的spark的版本 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译 ...

git在windows下安装 下载地址：https://git-scm.com/ 默认安装即可 验证 git --version git在linux下安装 下载地址：https://mirrors.edge.kernel.org/pub/software/scm/git ...

python下载 下载地址：https://www.python.org/downloads/ 可以下载需要的版本，这里选择2.7.12和3.6.2 下面第一个是linux版本，第二个是windows版本 python在windows下安装（双版本） 2.7.12和3.6.2 ...