單節點安裝cdh版 hdfs hive

本篇文章單節點安裝 hdfs hive ，實乃學習大數據必備的教程，環境為：Centos7 JDK8.0 cdh5.15.1

下載地址： http://archive.cloudera.com/cdh5/cdh/5/

hadoop版本：hadoop-2.6.0-cdh5.15.1.tar.gz

hive: http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz

官方hadoop單節點安裝教程： http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

關閉防火牆

systemctl status firewalld.service

systemctl disable firewalld.service

　　

配置java 環境變量

export JAVA_HOME=/usr/local/java

export CLASSPATH=.:JAVA_HOME/jre/lib/rt.jar:JAVAH​OME/jre/lib/rt.jar:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=PATH:PATH:JAVA_HOME/bin

　　

配置ssh免密登錄

注意：單節點機器也需要配置本機 ssh無密碼登錄 ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

chmod g-w authorized_keys 設置權限 否則不起效

　　

解壓到 app目錄

/home/hadoop/app/hadoop-2.6.0-cdh5.15.1

• hadoop目錄基本了解
• bin/ hadoop客戶端
• etc/hadoop hadoop 相關配置目錄
• sbin 啟動hadoop相關進程腳本
• share 示例程序

配置 hadoop-env.sh

vim hadoop-env.sh

#配置 java_home export JAVA_HOME=/usr/local/java/jdk1.8.0_221 

配置 core-site.xml

配置HDFS文件默認系統主節點和端口

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop:8020</value>
	</property>
</configuration>

　　

配置 hdfs-site.xml

因為是單節點，所以要調整副本系數

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

　　

還需要配置 hadoop.tmp.dir 臨時目錄放在我們 /home/hadop/app/tmp 下

<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/app/tmp</value>
 </property>

　　

配置datanode機器地址

vim slaves 填入 hadoop 

配置hadoop到環境變量

vim ~/.bash_profile
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

　　

啟動 hdfs

第一次執行的時候一定要格式化 hdfs 文件系統。

hdfs namenode -format 

正式啟動 到 hadoop/sbin目錄下面

./start-dfs.sh 

瀏覽器查看 http://192.168.1.100:50070/dfshealth.html#tab-overview

停止 hdfs

./stop-dfs.sh 

單獨啟動

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode