大數據-Hadoop 偽分布模式

1. 分析

（1）配置集群

（2）啟動、測試集群增、刪、查

（3）執行WordCount案例

2. 執行步驟

（1）配置集群

（a）配置：hadoop-env.sh

Linux系統中獲取JDK的安裝路徑：

[atguigu@ hadoop101 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_144

修改JAVA_HOME 路徑：

在Hadoop的目錄下，vim Hadoop-env.sh

 

export JAVA_HOME=/opt/module/jdk1.8.0_144

 

（b）配置：core-site.xml

 

 

<!-- 指定HDFS中NameNode的地址 -->

 

<property>

<name>fs.defaultFS</name>

    <value>hdfs://hadoop101:9000</value>

</property>

<!-- 指定Hadoop運行時產生文件的存儲目錄 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

 

c）配置：hdfs-site.xml

<!-- 指定HDFS副本的數量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

 

（2）啟動集群

（a）格式化NameNode（第一次啟動時格式化，以后就不要總格式化）

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

（b）啟動NameNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

 

（c）啟動DataNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

 

（3）查看集群

（a）查看是否啟動成功

[atguigu@hadoop101 hadoop-2.7.2]$ jps

13586 NameNode

13668 DataNode

13786 Jps