1.构建使用idea 构建maven 项目 选择org.scala-tools.archetypes:scala-archetype-simple，然后一直点next,maven最好选中本地配置国内源的而不适用idea自生的。 工程创建好后，点击Event Log 修改pox.xml文件 ...

写在前面 因为本地电脑没装flume，nginx各种。所以之前写Streaming程序的时候，都是打包了放到集群上跑。就算我在程序代码里不停地logger，调试起来也hin不方便。 于是本地写了两个程序，在intellj调试。 主要就是包括两个程序： 一个是 ...

生产环境的 Spark Job 都是跑在集群上的，毕竟 Spark 为大数据而生，海量的数据处理必须依靠集群。但是在开发Spark的的时候，不可避免我们要在本地进行一些开发和测试工作，所以如何在本地用好Spark也十分重要，下面给大家分享一些经验。 首先你需要在本机上安装好了Java ...

Spark程序本地运行 本次安装是在JDK安装完成的基础上进行的！ SPARK版本和hadoop版本必须对应！！！ spark是基于hadoop运算的，两者有依赖关系，见下图： 前言： 1.环境变量配置： 1.1 打开“控制面板”选项 ...

原因：缺少winutils.exe组件 解决：安装hadoop-common 添加hadoop-common安装路径到环境变量或者代码增加 参考：https://blog.csdn.n ...

（我用的是javajdk1.8.0_141解决的，中间试了好几个办法） 3.本地磁盘tmp文件夹看看有没提醒， ...

spark版本：1.6.1 scala版本：2.10 问题呢场景： 　　在idea调试本地程序的时候创建hiveContext报错，上午的时候是没有这个问题的，下午在项目中写了一个小deamon，出现了而这个问题，下面是我的代码： import ...

1 IDEA创建maven项目进行测试 v创建一个新项目，步骤如下： 选择“Enable Auto-Import”，加载完后：选择“ ...