Spark安裝部署

原創文章，轉載請注明： 轉載自www.cnblogs.com/tovin/p/3820979.html

一、系統環境配置

　　參照http://www.cnblogs.com/tovin/p/3818908.html文章的第一、二部分配置好基本環境

　　在集群所有節點下載並解壓spark的安裝包：

　　　　su hdp

　　　　cd /home/hdp

　　　　wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz

　　　　sudo mv /home/hdp/spark-1.0.0-bin-hadoop2.tgz  /usr/local/ 

　　　　cd /usr/local/

　　　　sudo tar zxvf spark-1.0.0-bin-hadoop2.tgz

　　　　sudo ln -s spark-1.0.0-bin-hadoop2 spark

　　　　sudo chown -R hdp:hdp  spark-1.0.0-bin-hadoop2 

　　　　sudo rm -rf spark-1.0.0-bin-hadoop2.tgz

 

二、Spark部署（spark standalone模式）

　　以node01為master節點，node02、node03為slave節點安裝為例說明：

　　1、修改集群所有節點spark環境配置文件
    　　　cd /usr/local/spark/conf/     
    　　　mv spark-env.sh.template  spark-env.sh
        　　vim spark-env.sh 添加如下內容：　　　　　　

　　　　　　

　　　　上面參數可以根據機器實際資源情況進行設置其中：
        　　　　SPARK_WORKER_CORES表示每個Worker進程使用core數目
               　    SPARK_WORKER_MEMORY表示每個Worker進程使用內存
           　　　 SPARK_WORKER_INSTANCES表示每台機器Worker數目

 

　　2、啟動集群

　　　　 /usr/local/spark/sbin/start-all.sh

 

　　3、驗證集群是否啟動成功

　　　 node01節點： （出現Master進程）
 　　   
     　　node02節點：（出現Worker進程）
　　  
    　　 node03節點：（出現Worker進程）
　　  
       4、集群web ui
    　　 訪問http://node01:8080查看集群管理頁面

　　　　

　　5、執行SparkPi測試程序

　　　　/usr/local/spark/bin/spark-submit  --class org.apache.spark.examples.SparkPi --master spark://node01:7077 /usr/local/spark/lib/spark-examples-1.0.0-hadoop2.2.0.jar

　　　　注意：紅色node01必須與配置文件中配置的SPARK_MASTER_IP保持一樣，否則會出現問題

　　　　

三、Spark部署（spark on yarn模式）

　　此模式部署只需要把安裝包解壓放到yarn集群所有機器即可

　　Client Driver部署：

　　　　1、下載spark、hadoop安裝包
        　　　　參照系統環境配置部分進行設置
    　　　2、修改配置文件        
        　　　　hadoop配置文件使用與集群一致的文件
        　　　　su hdp
        　　　　cd /usr/local/spark

       　　　　 vim conf/spark-env.sh添加內容

　　　　　　　　

 

　　　　　　3、spark測試程序
   　　　　　　 /usr/local/spark/bin/spark-submit  --class org.apache.spark.examples.SparkPi --master yarn-cluster /usr/local/spark/lib/spark-examples-1.0.0-hadoop2.2.0.jar

 

原創文章，轉載請注明： 轉載自www.cnblogs.com/tovin/p/3820979.html