由于spark-1.3作为一个里程碑式的发布, 加入众多的功能特性,所以,有必要好好的研究一把,spark-1.3需要scala-2.10.x的版本支持,而系统上默认的scala的版本为2.9,需要进行升级, 可以参考ubuntu 安装 2.10.x版本的scala. 配置好scala的环境后 ...

前言 　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。 描述 　　在安装有spark的节点上，通过spark-shell ...

报错如下 需要在yarn-site.xml中添加如下配置 分发yarn-site.xml并重启yarn,再试一次spark-shell --master yarn就可以了. FIN ...

当使用./spark-shell 命令报错 抛出了很多错误，甚至我退出spark-shell，再次进入抛出的错误还不一样，最后一个错误是Name node is in safe mode. 先解决这个网上说这是hdfs的分布式文件系统的安全模式，当安全模式时文件系统中的内容 ...

由于需要首次手动安装sbt，需要联网，故将虚拟机的网络适配器模式设置为"桥接模式"，这样就可以和互联网相连接。 但是后面执行"spark-shell --master yarn --deploy-mode client" 命令时，无法启动，一直停留在中间状态不动 ...

utils.sh脚本内容： View Code ...

当使用./spark-shell 命令报错 抛出了很多错误，甚至我退出spark-shell，再次进入抛出的错误还不一样，最后一个错误是Name node is in safe mode. 先解决这个网上说这是hdfs的分布式文件系统的安全模式 ...

希望在spark-shell中测试集群方式的elasticsearch操作， # 1 首先下载相关的jar # 2 启动spark-shell时用--jars ./bin/spark-shell –master spark://master:7077 –jars /usr/local ...