Hadoop 伪分布式模式配置

伪分布式模式：

　　存储采用分布式文件系统HDFS，但HDFS的名称节点和数据节点都在同一台机器上

配置步骤：

• 修改core-site.xml、hdfs-site.xml配置文件
• 执行名称节点格式化
• 启动 Hadoop
• Web查看Hdfs信息
• 关闭 Hadoop
• 配置环境变量

---

 

1. 修改core-site.xml、hdfs-site.xml配置文件

core-site.xml、hdfs-site.xml两个配置文件位于hadoop/etc/hadoop目录下

hadoop@zq:/usr/local/hadoop/etc/hadoop$ ls capacity-scheduler.xml            kms-log4j.properties ...... ...... ...... core-site.xml                     mapred-env.cmd ...... ...... ...... hdfs-site.xml                     ssl-server.xml.example ....... ...... ...... hadoop@zq:/usr/local/hadoop/etc/hadoop$     

修改core-site.xml文件的内容，将 <configuration> </configuration> 中添加属性对添加如下内容：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同理，修改配置文件hdfs-site.xml，修改后的内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

 

2. 执行名称节点格式化

hadoop@zq:/usr/local/hadoop/etc/hadoop$ cd /usr/local/hadoop/bin hadoop@zq:/usr/local/hadoop/bin$ ./hdfs namenode -format

显示格式化成功

 

3. 启动 Hadoop

跳到/usr/local/hadoop/sbin路径下，启动 Hadoop

hadoop@zq:/usr/local/hadoop/sbin$ ./start-dfs.sh

 

4. Web查看Hdfs信息

打开浏览器，输入地址：localhost:9870

注意：如果用的是虚拟机，在虚拟机的浏览器中本地链路访问，在Windows的浏览器中访问是访问不到的

 

5. 关闭Hadoop

hadoop@zq:/usr/local/hadoop/sbin$ ./stop-dfs.sh

 

6. 配置环境变量

# 编辑环境变量 hadoop@zq:~$ vim ~/.bashrc

在.bashrc文件中追加一行

export PATH=$PATH:/usr/local/hadoop/sbin

# 使环境变量设置生效 hadoop@zq:~$ source ~/.bashrc

环境变量设置成功后，执行命令时系统会从环境变量路径中查找命令，即可以在任何路径使用命令

例如这里实在hadoop用户目录下，而不用再特意到 /usr/local/hadoop/sbin/ 路径下执行命令