由于spark-1.3作为一个里程碑式的发布, 加入众多的功能特性,所以,有必要好好的研究一把,spark-1.3需要scala-2.10.x的版本支持,而系统上默认的scala的版本为2.9,需要进行升级, 可以参考ubuntu 安装 2.10.x版本的scala. 配置好scala的环境后 ...

使用spark-shell 启动spark集群时的流程简析： spark-shell->spark-submit->spark-class 在sprk-class中根据条件会从不同的入口启动application ...

一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要 ...

前言 　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。 描述 　　在安装有spark的节点上，通过spark-shell ...

报错如下 需要在yarn-site.xml中添加如下配置 分发yarn-site.xml并重启yarn,再试一次spark-shell --master yarn就可以了. FIN ...

当使用./spark-shell 命令报错 抛出了很多错误，甚至我退出spark-shell，再次进入抛出的错误还不一样，最后一个错误是Name node is in safe mode. 先解决这个网上说这是hdfs的分布式文件系统的安全模式，当安全模式时文件系统中的内容 ...

由于需要首次手动安装sbt，需要联网，故将虚拟机的网络适配器模式设置为"桥接模式"，这样就可以和互联网相连接。 但是后面执行"spark-shell --master yarn --deploy-mode client" 命令时，无法启动，一直停留在中间状态不动 ...

当使用./spark-shell 命令报错 抛出了很多错误，甚至我退出spark-shell，再次进入抛出的错误还不一样，最后一个错误是Name node is in safe mode. 先解决这个网上说这是hdfs的分布式文件系统的安全模式 ...