前言 最新開始搗鼓flink，fucking the code之前，編譯是第一步。 編譯環境 win7 java maven 編譯步驟 https://ci.apache.org/projects/flink/flink-docs-release-1.6/start ...

1. 環境准備 JDK1.8 Scala2.11.8 Maven 3.3+ IDEA with scala plugin 2. 下載spark源碼 下載地址 https://archive.apache.org/dist/spark/spark ...

　　前些天用maven編譯打包spark，搞得焦頭爛額的，各種錯誤，層出不窮，想想也是醉了，於是乎，換種方式，使用sbt編譯，看看人品如何！ 　　首先，從官網spark官網下載spark源碼包，解壓出來。我這邊使用的是1.4.0版本。 　　然后，我們需要把sbt配置好，配置很簡單，無非 ...

一、源碼下載 spark源碼下載：http://spark.apache.org/downloads.html 下載各個歷史版本的源碼包在這里下載：https://archive.apache.org/dist/spark/ 我下載的是：spark-2.1.0.tgz 二、編譯源碼 ...

環境： win10 jdk1.8 之前有在虛擬機或者集群上安裝spark安裝包的，解壓到你想要放spark的本地目錄下，比如我的目錄就是D:\Hadoop\spark-1.6.0-bin-hadoop2.6 /** *注意： 之前在linux環境下安裝的spark的版本 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...

git在windows下安裝 下載地址：https://git-scm.com/ 默認安裝即可 驗證 git --version git在linux下安裝 下載地址：https://mirrors.edge.kernel.org/pub/software/scm/git ...

python下載 下載地址：https://www.python.org/downloads/ 可以下載需要的版本，這里選擇2.7.12和3.6.2 下面第一個是linux版本，第二個是windows版本 python在windows下安裝（雙版本） 2.7.12和3.6.2 ...