由於spark-1.3作為一個里程碑式的發布, 加入眾多的功能特性,所以,有必要好好的研究一把,spark-1.3需要scala-2.10.x的版本支持,而系統上默認的scala的版本為2.9,需要進行升級, 可以參考ubuntu 安裝 2.10.x版本的scala. 配置好scala的環境后 ...

前言 　　離線安裝好CDH、Coudera Manager之后，通過Coudera Manager安裝所有自帶的應用，包括hdfs、hive、yarn、spark、hbase等應用，過程很是波折，此處就不抱怨了，直接進入主題。 描述 　　在安裝有spark的節點上，通過spark-shell ...

報錯如下 需要在yarn-site.xml中添加如下配置 分發yarn-site.xml並重啟yarn,再試一次spark-shell --master yarn就可以了. FIN ...

當使用./spark-shell 命令報錯 拋出了很多錯誤，甚至我退出spark-shell，再次進入拋出的錯誤還不一樣，最后一個錯誤是Name node is in safe mode. 先解決這個網上說這是hdfs的分布式文件系統的安全模式，當安全模式時文件系統中的內容 ...

由於需要首次手動安裝sbt，需要聯網，故將虛擬機的網絡適配器模式設置為"橋接模式"，這樣就可以和互聯網相連接。 但是后面執行"spark-shell --master yarn --deploy-mode client" 命令時，無法啟動，一直停留在中間狀態不動 ...

utils.sh腳本內容： View Code ...

當使用./spark-shell 命令報錯 拋出了很多錯誤，甚至我退出spark-shell，再次進入拋出的錯誤還不一樣，最后一個錯誤是Name node is in safe mode. 先解決這個網上說這是hdfs的分布式文件系統的安全模式 ...

希望在spark-shell中測試集群方式的elasticsearch操作， # 1 首先下載相關的jar # 2 啟動spark-shell時用--jars ./bin/spark-shell –master spark://master:7077 –jars /usr/local ...