大數據運維日常工作梳理

　　　　　　　　　　　　　　大數據運維日常工作梳理

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正傑

版權聲明：原創作品，謝絕轉載！否則將追究法律責任。

 

 

一.配置集群環境

1>.需求描述

    開發組的同事今天找到我說他有一台開發服務器在某機房里，由於開發需要想要訪問同機房的大數據集群環境。所需要用到的運行環境有：HDFS，YARN，MAPREDUCE,SPARK等

2>.解決方案

　　分兩步即可完成：（大前提是該開發機必須和現有大數據集群環境能實現互通）
　　　　第一步，在該同事的開發機安裝HDFS，YARN，MAPREDUCE，SPARK等相應的軟件並配置環境變量。
　　　　第二步，將現有的集群環境配置文件拷貝至安裝好軟件的開發機的對應軟件的配置目錄。

下面給出各個軟件的下載地址:
　　Apache Hadoop ：https://archive.apache.org/dist/hadoop/common
　　Apache Spark  ：https://archive.apache.org/dist/spark/

 

二.

 

 

三.