1,安裝hadoop
我下載的安裝包 hadoop-3.2.0.tar.gz
解壓包到/usr/local目錄下,並mv hadoop-3.2.0 hadoop
接着添加環境變量
vi /etc/profile
再最后添加 export PATH=$PATH:/usr/local/hadoop/bin
保存后 source /etc/profile .
檢查 是否安裝成功:which hadoop。
2,配置hadoop-env.sh
在hadoop-env.sh中添加java 環境變量
export JAVA_HOME=/usr/java/jdk1.8.0_40
3,配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop/dfs</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
全局配置
hadoop.tmp.dir: 指定了一塊臨時目錄,供后面創建節點使用
fs.defaultFS: 指定了hdfs 的 NameNode RPC 交互接口
3,配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/dfs/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/dfs/dfs/data</value>
</property>
<property>
<name>dfs.http.address</name>
<value>127.0.0.1:50070</value>
</property>
</configuration>
hdfs配置
dfs.replication:指定了hdfs 中每個block被復制的次數。我們這里的偽分布式只有一個數據節點,所以設置為1.
dfs.namenode.name.dir:指定了hdfs 的NameNode 的目錄路徑
dfs.datanode.data.dir:指定了hdfs 的DataNode 的目錄路徑
dfs.http.address:指定了http訪問的地址與端口。
3,配置mapred-site.xml
mapreduce配置
4,格式化hdfs
hadoop namenode –format
執行結果:在/home/hadoop/hadoop/dfs 目錄下產生name目錄
5,啟動
./sbin/start-all.sh
執行結果如下
6, 瀏覽器瀏覽 127.0.0.1:50070,顯示hadoop頁面成功