最近需要将生产环境的spark1.3版本升级到spark1.6(尽管spark2.0已经发布一段时间了，稳定可靠起见，还是选择了spark1.6)，同时需要基于spark开发一些中间件，因此需要搭建一套windows下的spark的开发环境，方便代码的编写和调试。中间遇到了比较多的问题，在此 ...

开发环境总体版本信息如下： 1、linux：centos 6.8，安装过程参见 http://www.cnblogs.com/zhwyxuhui/p/8983663.html 2、java版本：jdk-8u172-linux-x64.tar.gz 3、hadoop版本 ...

spark依赖配置网址http://mvnrepository.com/1.create new project2.meven，直接next3.输入group id等4.输入project name5.可以删掉main下的java和resources6.右键点击项目，选Add Framework ...

一、安装jdk jdk版本最好是1.7以上，设置好环境变量，安装过程，略。 二、安装Maven 我选择的Maven版本是3.3.3，安装过程，略。 编辑Maven安装目录conf/settings.xml文件， <!-- 修改Maven 库存放目录--> < ...

有时候我们会在windows 下开发spark程序，测试程序运行情况，再部署到真实服务器中运行。 那么本文介绍如何在windows 环境中搭建简单的基于hadoop 的spark 环境。 我的windows环境为 Win7 64位 第一步，安装Python环境 这里不多讲，我的环境 ...

1、安装JDK及配置java环境变量 本文使用版本为jdk1.7.0_79，过程略 2、安装scala 本文使用版本为2.11.8，过程略 3、安装spark 本文使用版本为spark-2.0.1-bin-hadoop2.7，解压后路径：D ...

摘要：本文介绍如何基于Jupyter notebook搭建Spark集群开发环境。 本文分享自华为云社区《基于Jupyter Notebook 搭建Spark集群开发环境》，作者：apr鹏鹏。 一、概念介绍： 1、Sparkmagic：它是一个在Jupyter Notebook中 ...

首先介绍一下我的环境，我是在vmware12版本下安装的CentOS-7-x86_64-DVD-1804版本 1、安装python3 #python官网下载python sudo wget https://www.python.org/ftp/python/3.6.8 ...