安裝配置Hadoop2.7.5+Spark2.2.1偽分布式環境

安裝准備：

1.安裝配置java1.8.0_141環境

2.增加master節點地址映射

vim /etc/profile

追加如下內容:

127.0.0.1 master

127.0.0.1 iZuf6hxhy307mpxxtvmtb3Z 

iZuf6hxhy307mpxxtvmtb3Z 是我的阿里雲服務器的主機名，防止出現異常：SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException

下載、安裝、配置Hadoop2.7.5

下載：

wget -c http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

安裝解壓：

mkdir /opt/hadoop/
tar –zxvf hadoop-2.7.5.tar.gz -C /opt/hadoop/

配置hadoop單機模式：

vim /etc/profile
#將以下內容追加到/etc/profile文件中
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.5 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
export PATH=$PATH:$HADOOP_HOME/lib  
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
#更新配置文件
source /etc/profile

#修改hadoop-env.sh文件中的JAVA_HOME環境變量：
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
#追加如下內容
export JAVA_HOME=/opt/jdk/jdk1.8.0_141/
#更新hadoop-env.sh文件
source $HADOOP_HOME/etc/hadoop/hadoop-env.sh
#查看hadoop版本：
hadoop version
#若能正確顯示hadoop版本，則hadoop單機模式安裝成功。

配置hadoop本地庫

vim /etc/profile

export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

source /etc/profile

配置hadoop偽分布模式：

vim $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>file:/opt/hadoop/hadoop-2.7.5/tmp</value>

                <description>Abase for other temporarydirectories.</description>

        </property>

</configuration>

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>

    <property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>master:50090</value>

    </property>

    <property>

      <name>dfs.replication</name>

      <value>1</value>

    </property>

    <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/opt/hadoop/hadoop-2.7.5/hdfs/name</value>

    </property>

    <property>

      <name>dfs.datanode.data.dir</name>

      <value>file:/opt/hadoop/hadoop-2.7.5/hdfs/data</value>

    </property>

</configuration>

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.awebapp.ddress</name>
          <value>master:19888</value>
  </property>
</configuration>

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
</configuration>

 

修改完配置文件后，對namenode進行格式化：

hdfs namenode –format

 啟動hadoop守護進程

啟動dfs：

start-dfs.sh

啟動YARN：

start-yarn.sh

 

啟動JobHistoryServer：

mr-jobhistory-daemon.sh start historyserver
#因為mapred-site.xml文件中配置了JobHistoryServer，所以必須啟動hadoop才能正常運行。

下載、安裝、配置spark

下載

wget -c http://mirrors.hust.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz

解壓安裝

mkdir /opt/spark/
tar -xvf spark-2.2.1-bin-hadoop2.7.tgz -C /opt/spark/

配置spark

vim /etc/profile

export SPARK_HOME=/opt/spark/spark-2.2.1-bin-hadoop2.7/

export PATH=${SPARK_HOME}/bin:$PATH

source /etc/profile

配置pyspark

vim /etc/profile

export PYTHONPATH=$SPARK_HOME/python:/usr/bin/python

unzip $SPARK_HOME/python/lib/py4j-0.10.4-src.zip -d $SPARK_HOME/python

之后就可以用import pyspark在python中使用pyspark模塊了

 

參考：

http://blog.csdn.net/u010171031/article/details/51849562

http://blog.csdn.net/xianglingchuan/article/details/61651339

http://blog.csdn.net/codeman_cdb/article/details/50986532

http://blog.csdn.net/young_kim1/article/details/50324345