最近需要將生產環境的spark1.3版本升級到spark1.6(盡管spark2.0已經發布一段時間了，穩定可靠起見，還是選擇了spark1.6)，同時需要基於spark開發一些中間件，因此需要搭建一套windows下的spark的開發環境，方便代碼的編寫和調試。中間遇到了比較多的問題，在此 ...

開發環境總體版本信息如下： 1、linux：centos 6.8，安裝過程參見 http://www.cnblogs.com/zhwyxuhui/p/8983663.html 2、java版本：jdk-8u172-linux-x64.tar.gz 3、hadoop版本 ...

spark依賴配置網址http://mvnrepository.com/1.create new project2.meven，直接next3.輸入group id等4.輸入project name5.可以刪掉main下的java和resources6.右鍵點擊項目，選Add Framework ...

一、安裝jdk jdk版本最好是1.7以上，設置好環境變量，安裝過程，略。 二、安裝Maven 我選擇的Maven版本是3.3.3，安裝過程，略。 編輯Maven安裝目錄conf/settings.xml文件， <!-- 修改Maven 庫存放目錄--> < ...

有時候我們會在windows 下開發spark程序，測試程序運行情況，再部署到真實服務器中運行。 那么本文介紹如何在windows 環境中搭建簡單的基於hadoop 的spark 環境。 我的windows環境為 Win7 64位 第一步，安裝Python環境 這里不多講，我的環境 ...

1、安裝JDK及配置java環境變量 本文使用版本為jdk1.7.0_79，過程略 2、安裝scala 本文使用版本為2.11.8，過程略 3、安裝spark 本文使用版本為spark-2.0.1-bin-hadoop2.7，解壓后路徑：D ...

摘要：本文介紹如何基於Jupyter notebook搭建Spark集群開發環境。 本文分享自華為雲社區《基於Jupyter Notebook 搭建Spark集群開發環境》，作者：apr鵬鵬。 一、概念介紹： 1、Sparkmagic：它是一個在Jupyter Notebook中 ...

首先介紹一下我的環境，我是在vmware12版本下安裝的CentOS-7-x86_64-DVD-1804版本 1、安裝python3 #python官網下載python sudo wget https://www.python.org/ftp/python/3.6.8 ...